Après avoir exercé divers métiers, Terray entra dans la carrière administrative en 1745 comme commissaire du roi. Sa carrière prospéra grâce à son talent et à sa bonne intelligence, qui lui permirent d'accéder à de hautes fonctions au sein des Intendances royales. En 1768, il fut nommé Intendant de la généralité de Bordeaux, puis en 1774 Intendant de Paris.
En 1789, lorsque la Révolution éclata, Terray était Intendant à Metz. Il prit immédiatement le parti des révolutionnaires et devint un des principaux partisans du mouvement. En 1790, il fut élu député de la noblesse au Conseil national, puis en 1791, membre du Comité de l'Intérieur.
En 1792, après le coup d'État du 10 août, Terray devint un des membres les plus actifs du Comité de salut public. Il fut notamment chargé de mettre en place une armée pour réprimer la conspiration de la Vendée et combattre l'invasion étrangère menacée par l'Autriche et la Prusse. Cependant, après les défaites militaires subies à Valmy et Jemappes, il fut remplacé dans ses fonctions en 1793.
Terray, désormais sans emploi, fut arrêté et incarcéré sous l'accusation de corruption. Il décéda au fort de Ham, près d'Amiens, le 26 décembre 1794, peu après avoir été libéré.
Joseph Marie Terray est considéré comme un des pères fondateurs de la Révolution française et un exemplaire de la carrière ascendante dans l'ancienne France, malgré son origine modeste. Son parcours a montré que le talent, l'intelligence et la dévouement pouvaient mener à la réussite pour les individus les plus modestes, même dans une société aussi strictement hiérarchisée que celle de l'ancienne France.