Il commence sa carrière en tant que négociant en bétail avant d'être élu au poste de ministre du commerce extérieur en 1954, où il occupe le poste pendant deux mandats jusqu'en 1962. Ensuite, il devient membre du Parti travailliste brésilien (PTB) et siège à la Chambre des députés de 1963 à 1970.
En 1972, Havelange remporte les élections pour le poste de président du CIO face à Avery Brundage en recevant le soutien de l'Union des Républiques Socialistes Soviétiques (URSS). Son mandat est marqué par la modernisation et l'expansion des Jeux olympiques, notamment avec l'inclusion de nouvelles disciplines telles que le badminton et le judo, et l'organisation des premiers Jeux olympiques d'hiver à Sapporo, Tokyo, Innsbruck et Calgary. En 1981, Havelange est réélu pour un deuxième mandat avec une large majorité.
Havelange est accusé de corruption lorsqu'il est réélu pour un troisième mandat en 1991. Les accusations concernent la vente des droits médiatiques des Jeux olympiques de Barcelone, et d'autres événements sportifs à l'entreprise française SFP, qui était en quelque sorte le bras armé du ministre français des sports, Jack Lang.
En 1998, il est finalement déposé par le CIO après une enquête menée par un groupe d'arbitrage indépendant. En 2009, cependant, les tribunaux suisses annulent sa suspension et le rétablissent à son poste de membre honoraire du CIO.
Havelange reste très impliqué dans le sport jusqu'à sa mort en 2016 à l'âge de 99 ans. Il est également considéré comme un pionnier pour l'introduction du football aux Jeux olympiques d'été de 1952, où il était vice-président de la Confédération brésilienne de football.