Paul Heroult est né dans une famille modeste, sa mère étant couturière et son père marchand de bois. Il effectue ses études à l'École nationale supérieure des arts et manufactures de Valence, puis à l'Institut national polytechnique de Grenoble. À l'issue de ses études, il entame une carrière dans le domaine chimique, principalement autour du fer blanc.
En 1879, Heroult est embauché par la Société d'électrochimie Paul Hérault à Mont-Saint-Aignan, dont il deviendra plus tard directeur technique. C'est durant cette période qu'il décide de se consacrer à l'étude de l'aluminium, dans le but d'en trouver une méthode de production économique et accessible.
En 1886, Paul Heroult publie un mémoire intitulé "Sur la réduction de l'oxyde d'aluminium" où il décrit pour la première fois le procédé à son nom. Ce processus consiste à fonder de l'alumine dans une chambre électrolytique en fusionnant un mélange de carbonate d'aluminium, de sable et de charbon à haute température avec de la silice fondue, puis à en faire passer un courant électrique. Cette méthode permettra à l'industrie française d'être concurrentielle avec les États-Unis dans le domaine de la production d'aluminium.
En 1892, Heroult crée sa propre société : la Société des métaux nobles électriques et de la fabrication du fer blanc. Elle fusionnera avec les grandes sociétés françaises de l'époque pour former la Société française d'aluminium et de zinc, puis deviendra Pechiney en 1920.
Paul Heroult meurt à Neuilly-sur-Seine en septembre 1914, au début de la Première Guerre mondiale. Il est enterré dans le cimetière du Montparnasse à Paris. En reconnaissance de ses apports importants aux domaines chimique et industriel, son nom a été donné à un astéroïde : (3068) Heroult.