Il a étudié à l'université Swarthmore puis à l'université Harvard où il a obtenu son doctorat en économie. Sa carrière professionnelle débute dans le département de la Guerre en 1949. Il rejoint ensuite la banque d'investissement Kidder, Peabody & Co (maintenant Citigroup) en 1957 et occupe les postes de vice-président puis de président de la division banque d'affaires.
En 1974, il est nommé président de la Réserve fédérale par le président Gerald Ford. Il connaît alors une première épreuve importante lorsqu'il doit gérer l'hyperinflation causée par l'accroissement du déficit budgétaire. Il met en place une politique monétaire stricte et tente de réduire le taux d'inflation à 3 %. Cette politique, connue sous le nom de « Grande Recession », entraîne un chômage record mais permet finalement de maîtriser l'hyperinflation.
En 1979, il quitte la FED pour devenir président du FMI et occupe ce poste jusqu'en 1985. Il est particulièrement connu pour avoir défini les "critères Volcker" qui doivent être remplis par les pays bénéficiant de prêts du Fonds monétaire international.
En 1987, il revient en tant que président de la FED sous le mandat du président Ronald Reagan et connaît alors une seconde épreuve importante lorsqu'il doit gérer la crise financière de Wall Street. Il met en place une politique monétaire stricte pour contrer cette crise et permet finalement la stabilisation des marchés financiers.
Il a également occupé plusieurs postes universitaires et de conseiller pour le compte de différents gouvernements, notamment celui du président Bill Clinton pour qui il travaillait sur la réforme financière. Il est connu pour son engagement en faveur des droits humains et pour ses positions radicales contre les opérations bancaires à risque élevé.
Il a reçu de nombreux prix et distinctions, notamment le Prix Nobel d'économie en 1987 pour sa contribution à la lutte contre l'inflation. Il a également été distingué par le président Barack Obama qui lui a décerné la Médaille présidentielle de la Liberté en 2015.
Il est considéré comme un des plus grands économistes du XXe siècle et son travail est toujours considéré actuellement pour trouver des solutions aux problèmes de la mondialisation financière. Il a été marié deux fois et a eu cinq enfants. Il meurt le 9 décembre 2019 à New York.