Il est né dans une famille d'artistes, son père étant directeur d'orchestre et sa mère pianiste. Après avoir abandonné des études de droit pour se consacrer à la musique, Jean-Marie Arnoud a commencé sa carrière en tant que chanteur de jazz dans les cabarets parisiens.
En 1963, il a rencontré le chanteur et compositeur Claude François et est devenu son collaborateur, écrivant des paroles pour ses chansons telles que "Comme d'habitude" et "J'entends la mer". Cette collaboration a permis à Jean-Marie Arnoud de se faire connaître du grand public.
En 1965, il sort son premier album, intitulé "Le Cigale et la Fourmi", qui a été un grand succès. La chanson titre est devenue l'un des classiques de la musique française et est restée une des chansons les plus célèbres de Jean-Marie Arnoud.
En 1967, il a remporté le Grand Prix du Disque pour son album "Les Amants de l'histoire". Cette même année, il a été sélectionné pour représenter la France au Concours Eurovision de la chanson mais a refusé l'offre.
En 1968, Jean-Marie Arnoud a quitté le monde musical et s'est retiré à Paris pour vivre une vie plus calme. Il a continué à écrire des chansons et à enregistrer des albums mais n'a pas poursuivi une carrière active.
En 1986, il est revenu sur la scène musicale avec l'album "Jean-Marie Arnoud chante Jean-Marie Arnoud" qui a été un succès commercial. Depuis cette date, il a continué à enregistrer des albums et à se produire en concert.
Jean-Marie Arnoud est considéré comme l'un des plus grands chanteurs français de la chanson française et son répertoire compte plus de 200 chansons écrites par lui-même ou en collaboration avec d'autres compositeurs.