John Halsey a grandi à Needham, dans le Massachusetts. Après ses études secondaires, il a fréquenté l'université Harvard où il a obtenu son diplôme en 1979. Il est diplômé de la Stanford Graduate School of Business (GSB) en 1982.
John Halsey a commencé sa carrière professionnelle en tant qu'analyste à Goldman Sachs. En 1987, il rejoint David M. Rubenstein et William Conway pour fonder The Carlyle Group. Pendant les premières années de son existence, la société a principalement investi dans des industries telles que le défense et l'aéronautique. Avec le temps, elle s'est diversifiée vers d'autres secteurs économiques, tels que les télécommunications, l'énergie, les services financiers et la technologie.
En 2001, John Halsey succède à David M. Rubenstein en tant que président de The Carlyle Group. Il occupera cette fonction pendant douze ans jusqu'à sa retraite en 2013. Pendant son mandat de président, la société a réalisé plusieurs acquisitions importantes, notamment Allegis Group, American Securities Corporation et The Ritz-Carlton Hotel Company.
John Halsey est connu pour ses nombreuses activités philanthropiques. Il est le président du conseil d'administration de la Fondation Clinton Global Initiative (CGI) ainsi que membre du conseil d'administration de l'université Harvard, de la Stanford GSB et de l'université Northwestern. En 2015, il rejoint le comité consultatif de la campagne présidentielle de Hillary Clinton pour soutenir son programme philanthropique "Too Small to Fail".
John Halsey est marié à Kimberly K. Kasulis et a trois enfants. Il réside actuellement à McLean, en Virginie.