Après des études de droit, il commence sa carrière musicale en 1973 comme membre du groupe "Les Enfants du Rock". Il se fait remarquer grâce à la chanson "Je t'aime", qui est un succès dans les hit-parades français.
En 1980, il sort son premier album solo intitulé "La Vie en rose" et obtient le Grand Prix du Disque de l'Académie Charles Cros. L'année suivante, il sort l'album "Jean Marc Gouverniou" qui est également un succès auprès du public.
En 1982, son interprétation de la chanson "Comme d'habitude" (adaptation française de "Can't Take My Eyes Off You" de Bob Crewe et Bob Gaudio) lui vaut un succès international. La chanson est encore aujourd'hui l'un de ses titres emblématiques.
En 1984, il sort l'album "Le Roi des femmes", qui contient notamment la chanson "La Mer". En 1986, il crée sa propre maison de disques : SFR Music.
Dans les années suivantes, il continue à enregistrer des albums et à donner des concerts jusqu'en 2005. Il se retire alors temporairement du monde de la musique pour se consacrer à d'autres projets.
En 2014, il revient sur la scène musicale avec l'album "Tu m'aimes ou tu m'aimes pas", qui est suivi en 2016 par "L'Éternel Retour". En 2017, il sort le single "Je suis un homme" qui connaît un certain succès.
En 2018, il crée son propre label indépendant : Gouverniou Music, sur lequel il sort notamment l'album "Ma petite vie". En 2020, il sort le single "Je t'aime encore" qui marque son retour après une parenthèse de santé.
Enfin, Jean Marc Gouverniou est également connu pour sa voix chaude et charmante, ainsi que pour la qualité de ses paroles, qui sont souvent autobiographiques et introspectives.