Il a commencé ses études musicales à l'âge de cinq ans avec ses parents et a rejoint à huit ans la classe de piano du Julliard School de New York, où il a ensuite terminé son cursus. Il est diplômé du Curtis Institute of Music en 1968, où il étudie notamment avec Rudolf Serkin.
Finger a commencé sa carrière professionnelle à la fin des années 1960 et a rapidement acquis une réputation internationale pour son interprétation des oeuvres de Mozart, Beethoven, Chopin et Rachmaninov. Il a donné des concerts dans les plus grandes salles du monde, notamment à la Carnegie Hall de New York, au Royal Albert Hall de Londres et à l'Opéra Garnier de Paris.
Il a enregistré plus de 60 disques, dont une série complète des 32 sonates pour piano de Beethoven et un ensemble complet des concertos pour piano de Mozart. Il a également donné de nombreuses premières mondiales d'œuvres de compositeurs contemporains, tels que Peter Schikele, David Del Tredici et Philip Glass.
En plus de sa carrière de soliste, Finger est un enseignant reconnu, ayant occupé des postes à l'Université de Miami, à l'Université de Southern California et à l'Eastman School of Music de l'Université de Rochester. Il a également donné des masterclasses à travers le monde.
En 1992, Finger a reçu le Grammy Award pour son enregistrement de l'œuvre de Rachmaninov, "Rhapsody on a Theme of Paganini". En 2006, il a été élu membre honoraire du Curtis Institute of Music.
Finger est également connu pour ses activités philanthropiques et humanitaires, notamment en faveur des enfants défavorisés dans son pays natal, les États-Unis, ainsi qu'en Afrique. Il est marié à la violoniste Tema Blackstone et le couple a deux filles.