Fleisher poursuit ses études musicales au Peabody Conservatory of Music and Library Science de Baltimore sous la direction de Frank Wunderlich et de Leon Kaplan (en). Il remporte un concours de piano en 1936, à l'âge de huit ans.
En 1942, il est accepté au Curtis Institute of Music de Philadelphie où il étudie avec Rudolf Serkin. En 1952, il fait ses débuts à la Carnegie Hall à New York et, l'année suivante, il est invité par Igor Stravinsky pour jouer sous sa direction avec l'Orchestre symphonique de Los Angeles.
En 1956, il est engagé comme professeur de piano au Peabody Conservatory of Music and Library Science. Il enseigne également à la Juilliard School et, pendant un certain temps, au Curtis Institute of Music.
Leon Fleisher a notamment interprété les œuvres les plus célèbres du répertoire pour piano classique et a travaillé avec de nombreux compositeurs tels que Stravinsky, Bartók, Hindemith, Carter et Ives. Il est aussi connu pour ses enregistrements d'œuvres pianistiques de Mozart, Beethoven et Chopin.
En 1964, il épouse l'actrice Katherine Barrelle avec qui il aura deux enfants.
En 1995, il est diagnostiqué atteint du syndrome de Bell, ce qui l'oblige à mettre un terme temporaire à sa carrière concertante. Il continue néanmoins à enseigner et à donner des conférences. En 2003, il a son premier récital depuis son diagnostic grâce à l'invention de la technique Two-Pianist One-Piano-Keyboard (en) qui lui permet de jouer sur un piano modifié pour pouvoir se servir d'un bras et d'un pied.
Leon Fleisher est récompensé de nombreux prix tels que le Prix Spécial du Jury de la Victoire de la Musique (1980), la Médaille nationale des Arts (1987) et le Grammy Award (2003). Il reçoit également la médaille d'or de l'Académie américaine des arts et des lettres en 1964.
Il est décédé le 2 août 2020 à Baltimore, dans le Maryland.