Né à Laval, dans la Mayenne, il grandit à Rennes où son père était peintre décorateur. En 1862, il rejoint l'École nationale supérieure des beaux-arts de Paris et y suit les cours de Jean-Léon Gérôme et Alexandre Cabanel.
En 1864, Hermitte obtient une médaille de troisième classe au Salon des artistes français pour son tableau "Les Pêcheurs d'Évrecourt". Cette récompense lui ouvre les portes de l'Académie Julian où il fréquente les ateliers de Jules-Joseph Lefebvre et Tony Robert-Fleury.
En 1868, il est diplômé de l'École nationale supérieure des beaux-arts avec un tableau intitulé "Le Repas du Pèlerin". Ce travail lui vaut une médaille d'argent et une mention honorable au Salon des artistes français.
Durant les années 1870, Hermitte se consacre à la peinture de sujets historiques et à l'illustration de livres. Son tableau "Le Repas des fous" (1873) est particulièrement remarqué pour sa sensibilité humaine et sa force expressionnelle.
En 1874, il voyage en Allemagne pour étudier les techniques d'impression. Cela influencera beaucoup son travail futur, particulièrement dans ses gravures. Il est aussi à cette époque l'élève de Charles-François Daubigny.
Les années 1880 sont marquées par un changement de style pour Hermitte qui se tourne vers les scènes rustiques et les scènes de genre. C'est le cas du tableau "L'Étude", réalisé en 1883, exposé au Salon des artistes français et acquis par l'État pour le musée du Luxembourg.
En 1904, Hermitte est nommé chevalier de la Légion d'honneur. Il meurt l'année suivante à Paris.
Au total, Léon Hermitte a produit plus de 2 000 œuvres, essentiellement des tableaux et des gravures, qui sont exposées dans les musées du Louvre, du Musée d'Orsay, du Petit Palais, du musée Carnavalet ainsi que dans d'autres institutions en France et à l'étranger.