José da Costa Policarpo est né dans une famille de la classe moyenne à Ribeirão Preto, dans l'État de São Paulo. Après avoir terminé ses études secondaires au Séminaire Saint-Paul de Ribeirão Preto, il a poursuivi ses études supérieures à l'Université pontificale du Latran à Rome où il a obtenu un doctorat en droit canonique. Il a été ordonné prêtre le 16 mars 1963.
Il a commencé sa carrière ecclésiastique comme professeur de droit à l'Institut supérieur de théologie du Brésil, à Petrópolis, dans l'État de Rio de Janeiro. Il a ensuite occupé plusieurs postes importants au sein de l'Église catholique, y compris celui de secrétaire général de la Conférence nationale des évêques brésiliens et de président de la Commission pour les questions pastorales du Conseil pontifical pour le dialogue interreligieux.
En 1985, Jean-Paul II l'a nommé archevêque de Belo Horizonte. En 1990, il est élevé à la dignité cardinalice par Jean-Paul II et reçoit le titre de cardinal-prêtre de Saints-Jean-et-Paul. Il a été élu président du Synode des évêques en octobre 1998, poste qu'il a occupé jusqu'en octobre 2003.
En 2004, il est nommé archevêque d'Aparecida, où il reste en poste jusqu'à sa retraite le 3 mai 2015. Le même jour de son annonce de retraite, il a été élevé à la dignité cardinalice de titre pro-hac vice de la Basilique Sainte-Marie-Mère-de-Dieu du Mont Carmel.
José da Costa Policarpo est considéré comme un expert en théologie morale et en droit canonique, il est l'auteur de plusieurs livres sur ces sujets. Il est également connu pour sa défense des droits des personnes lesbiennes, gays, bisexuelles et transgenres (LGBT) dans l'Église catholique.