Issu d'une famille aisée de Mobile, John Handy a commencé à jouer du piano à l'âge de six ans, avant de se tourner vers le saxophone un an plus tard. À 15 ans, il rejoint la Marine américaine et sert sur les navires d'escorte pendant la Seconde Guerre mondiale. C'est durant cette période que John Handy commence à jouer du saxophone alto.
De retour de la guerre en 1946, il rejoint le *Clark College* à Atlanta et suit des cours d'ingénierie électrique tout en continuant à jouer de la musique. Il forme un quintet avec les pianistes Horace Parlan et Sonny Clark et les frères saxophonistes Harold et Teddy Vinson. En 1949, le groupe se produit au *Three Deuces*, un célèbre club de jazz situé à New York.
En 1952, John Handy rejoint l'orchestre d'Art Blakey, qui a pour particularité de ne recruter que des musiciens prometteurs. Là -bas, il joue aux côtés de nombreux autres grands musiciens tels que Lee Morgan, Clifford Brown et Horace Silver.
En 1954, John Handy enregistre son premier album sous son nom, *The John Handy Quintet* avec un groupe qui comprend le pianiste Horace Parlan et le trompettiste Blue Mitchell. L'année suivante, il enregistre *At the Blackhawk*, son deuxième album qui contient l'un de ses standards : "For Malia".
En 1957, John Handy quitte Art Blakey et fonde son propre orchestre avec lequel il enregistre plusieurs albums dont *Shades of Blue* en 1958. Il reste dans l'orchestre jusqu'en 1964, avant de revenir à la scène en 1970 après une période d'absence causée par des problèmes de santé.
Au cours de sa carrière, John Handy a joué avec de nombreux autres musiciens tels que Lester Young, Miles Davis, Charlie Parker et Dizzy Gillespie. Il est réputé pour son jeu à l'alto saxophone, caractérisé par une grande expressivité et une virtuosité technique remarquable.
John Handy a également composé de nombreuses musiques, notamment pour des films tels que *Les Enfants du miracle* (1960) ou *La Rue chaude* (1958). Il a reçu plusieurs récompenses pour son travail, dont un Grammy Award en 1982 pour son album *Wind Song*.
John Handy est décédé le 16 septembre 2000 à New York. Il laisse une importante héritage musical qui lui a valu de devenir l'un des principaux saxophonistes de jazz de tous les temps.