Willette commence à peindre dès son enfance, sous la supervision de son père, un peintre amateur. Après avoir travaillé comme apprenti-doreur dans une église de Bordeaux, il s'installe à Paris en 1875 pour étudier à l'Académie Julian. Il y fréquente des artistes tels que Jules Lefebvre, William Bouguereau et Tony Robert-Fleury. Cependant, il ne se sent pas à son aise dans cette institution classique et commence à peindre à l'air libre avec les impressionnistes.
En 1879, Willette participe pour la première fois au Salon des refusés. Il expose régulièrement aux expositions impressionnistes et devient rapidement un membre actif du groupe. Son style évolue vers le tonalisme, un sous-genre de l'impressionnisme caractérisé par une utilisation de couleurs chaudes et claires.
Willette est considéré comme un maître des paysages et des scènes de rue nocturnes. Il aime peindre les rues sombres et mystérieuses de Paris, avec ses lumières intermittentes qui créent une atmosphère dramatique et enchantée. Ses œuvres les plus célèbres comprennent "Place Pigalle" (1882), "Le Quai de Clichy" (1893) et "Le Pont d'Iéna à Minuit" (1887).
En plus de sa carrière artistique, Willette est également connu pour être un des inventeurs du processus photographique autocollant. Il a breveté cette technique en 1902 et a ouvert une entreprise qui fabrique des post-cards à partir de ses propres photographies.
Willette meurt le 30 mars 1926 à Paris. Son travail est exposé dans de nombreuses collections publiques, y compris au Musée d'Orsay et au Musée du Louvre. Il a inspiré plusieurs générations d'artistes et reste un peintre impressionniste français majeur.