Jarre est né dans une famille d'artistes : son père Maurice Jarre fut compositeur, arrangeur et chef d'orchestre de cinéma, connu pour ses musiques pour les films de David Lean et Lawrence d'Arabie. Sa mère, Cora Yvar Mikaelian, est née à Saint-Pétersbourg en Russie, dans une famille d'artistes circassiens.
Il a commencé sa carrière professionnelle en 1968 en tant qu'ingénieur du son pour les enregistrements des disques de son père Maurice Jarre et de Jean-Pierre Jacob. En 1970, il enregistre son premier album *Descriptions* sous le pseudonyme de Jean-Michel Jarre.
L'année suivante, il sort un deuxième album, *Invention of a New Happiness*. Cependant, ce n'est qu'en 1976, avec l'album *Oxygène*, que Jarre connaît le succès international. L'album est devenu la référence du genre synthétique en raison de ses effets sonores expérimentaux et de sa composition musicale originale. Les morceaux de cet album ont été enregistrés à l'aide d'un Moog modular, d'un ARP 2600 et d'un Synthi AKS, ainsi qu'à partir du son de la voix humaine, pour les effets vocaux.
En 1978, Jarre a produit l'album *Équinoxe* qui a également connu un grand succès. Il réalise ensuite des concerts électroniques exceptionnels en s'inspirant de la musique classique symphonique et du rock progressif : ce sont les Concerts dans les espaces, notamment celui donné devant le palais des congrès à Paris le 27 juin 1979, qui ont fait sa renommée.
En 1984, il effectue un concert historique à la Place Rouge de Moscou en présence de 1 million de personnes et d'Yuri Andropov. En 1986, il est nommé chevalier de la Légion d'honneur.
Jarre a continué à enregistrer des albums et à donner des concerts jusqu'en 2016. Il a également collaboré avec de nombreux artistes, comme Sting, Ryuichi Sakamoto ou encore Peter Gabriel, et a composé des musiques de films, notamment pour les films d'Alain Corneau et de Luc Besson.