Né à Racine au Wisconsin, Johnson a étudié l'ingénierie mécanique à l'Université du Michigan. Il est diplômé en 1958 avec un Master of Science en ingénierie électrique. Après son service militaire dans la marine américaine, Johnson rejoint North American Rockwell en tant qu'ingénieur et travaille pour des clients tels que Boeing et Lockheed Martin.
En 1965, Johnson quitte North American Rockwell pour rejoindre Johnson Controls, à l'époque une division de Société Westinghouse Electric Corporation. Il devient président de la division en 1972 et directeur général en 1980. En 1987, il achète les actions restantes de Johnson Controls et devient propriétaire majoritaire de l'entreprise.
En tant que leader de JCI, Johnson a dirigé la croissance de l'entreprise à travers des acquisitions et des innovations technologiques. Les produits et services de JCI comprennent les batteries pour les véhicules électriques, la sécurité de bâtiment, le contrôle des climats et les systèmes d'automatisation industrielle. Johnson a également dirigé l'entreprise à travers une crise financière dans les années 1990, avec un changement majeur de stratégie de la part du conseil d'administration qui a conduit à la vente de certaines divisions non-stratégiques et à la concentration sur les domaines de croissance potentielle.
En plus de sa carrière en affaires, Johnson a été impliqué dans des causes caritatives et environnementales, notamment le développement durable et la protection de l'environnement. Il a également soutenu des organisations telles que la Croix-Rouge américaine et la Fondation pour la recherche médicale contre le cancer.
Johnson a été marié deux fois et a eu quatre enfants. Il a décédé d'une maladie cardiaque à son domicile de Racine, au Wisconsin, en janvier 2007. Son héritage est perpétué par Johnson Controls, qui continue d'être un leader dans l'automatisation industrielle et les services de construction.