Jean-Marc a commencé sa carrière en karting dans les années 1970 et a rapidement progressé jusqu'à la Formule Ford. En 1983, il a remporté le championnat de France de Formule Renault, ce qui lui a permis d'accéder à la Formule 3.
En 1985, Jean-Marc a participé à sa première course de Grand Prix en tant que pilote de réserve au Grand Prix de Belgique pour l'écurie Tyrrell Racing. Il n'a pas pu prendre le départ de la course. En 1986, il a signé avec Minardi, mais n'a participé qu'à quelques courses en raison d'un manque de financement.
En 1987, Jean-Marc a rejoint AGS, où il a couru pendant deux saisons avant de rejoindre la Formule 3000 et le championnat International Sport Prototype (ISP). Il a remporté plusieurs courses, notamment les 24 Heures de Spa en 1991 et les 24 Heures du Mans en 1992.
En 1995, Jean-Marc a couru pour Jordan Grand Prix avant d'effectuer un retour à AGS. En 1996, il a participé au championnat de Formule 3000, où il a remporté deux courses et s'est classé deuxième du championnat derrière son coéquipier Nick Heidfeld.
En 2004, Jean-Marc a participé à la saison finale de la Formule 1 pour Minardi. Il n'a pu prendre le départ de sa première course en raison d'un problème technique, mais il a ensuite pris part à une quinzaine de courses, se classant deux fois dans les points.
Jean-Marc Gounon a continué à courir en Sport Prototype jusqu'en 2010, remportant notamment le championnat FIA GT en 2004 et plusieurs victoires aux 24 Heures de Spa et aux 24 Heures du Mans.
Depuis sa retraite, Jean-Marc travaille comme consultant pour la télévision lors des courses de voitures de sport.