Ses premières réalisations notables se passent en Amérique du Nord au début des années 1760 où il a travaillé à l'aménagement de la rivière Sainte-Anne, au Canada français (Québec). Il a également conçu et construit le pont de Québec en bois, construit pour les troupes britanniques qui ont envahi la province.
Son plus grand éclat vient cependant de sa carrière dans l'Armée française. En 1773, il a inventé le torsionmètre pour mesurer la résistance des matériaux. En 1785, Napoléon Bonaparte a demandé à Coulomb d'effectuer une étude de terrain sur les carrières rocheuses au nord de Paris pour l'exploitation future du chemin de fer. Coulomb a découvert la méthode de forage par percussion hydraulique et a conçu le premier outil à foret, qui était un foret à percussion hydraulique.
En 1792, il a été nommé ingénieur en chef des Ponts et Chaussées. Il a également joué un rôle important dans la construction de la première machine à vapeur utilisée pour le transport (le chemin de fer de Valenciennes à Mons). Coulomb est considéré comme un précurseur dans plusieurs domaines tels que les travaux civils, la mécanique et les sciences exactes. Il a également écrit un ouvrage intitulé "Traité théorique et pratique de l'art des ponts", qui est encore utilisé à ce jour comme référence dans le domaine de la construction de ponts.
Jean-Jacques Coulomb est décédé en 1805 à Paris. Il a été enterré au cimetière du Père-Lachaise, à Paris. Son travail a continué d'avoir une influence importante dans les domaines de l'ingénierie et des sciences exactes, et il est encore considéré comme un modèle pour les ingénieurs et les chercheurs de nos jours.