Graf a étudié à l'Académie de musique de Vienne puis a commencé sa carrière d'orchestrateur en 1963 au Theater an der Wien, avant de devenir directeur musical du Mozart Orchestra de Salzbourg en 1974. Il a également dirigé des orchestres tels que l'Orchestre philharmonique de Vienne, le London Symphony Orchestra et le Chicago Symphony Orchestra.
En 1980, Graf a été nommé directeur musical de l'orchestre symphonique de Houston, où il est resté pendant douze saisons. Pendant son mandat à Houston, il a enregistré des disques avec les labels Telarc et BMG et a étendu la réputation de l'orchestre grâce à des tournées internationales et des engagements à la télévision.
En 1992, Graf est retourné en Autriche pour devenir directeur musical du Vienna Symphony Orchestra, où il a travaillé jusqu'en 2004. Il a également été nommé chef invité permanent de l'orchestre philharmonique de Bamberg en 1993.
En 2005, Graf a été nommé directeur musical du Boston Symphony Orchestra, poste qu'il occupe jusqu'en 2008. Pendant son mandat à Boston, il a dirigé plus de deux cents concerts et a enregistré plusieurs disques pour le label Deutsche Grammophon.
Graf est décrit comme un chef d'orchestre très flexible, capable de diriger une gamme variée de styles musicaux, de la musique baroque à la musique contemporaine. Il a également été un enregistreur prolifique, avec plus de 150 disques à son actif.
Depuis sa retraite du Boston Symphony Orchestra, Hans Graf continue à se produire régulièrement comme chef invité avec des orchestres tels que l'orchestre symphonique de Houston et le London Philharmonic Orchestra. Il est également professeur d'orchestration à l'Académie de musique de Vienne.