Il a étudié au lycée Louis-le-Grand, puis à l'École nationale des ponts et chaussées (1967-1970), où il obtient son diplôme d'ingénieur civil des ponts et chaussées. Il poursuit ensuite ses études en obtenant un master de physique nucléaire à l'Université Paris VI (1973) et un doctorat ès sciences à l'École pratique des hautes études, section Sciences économiques appliquées (1985).
Jancovici commence sa carrière professionnelle en 1970 au Commissariat à l'énergie atomique, puis il rejoint la Société générale de financement local en tant qu'ingénieur en chef du département économie et études (1973-1984). Ensuite, il occupe des postes au Ministère de l'Industrie, du Commerce extérieur et de la Technologie (1984-1986) puis à la Banque nationale de Paris (1986-1993).
En 1990, il est nommé directeur de recherche au Centre national de la recherche scientifique (CNRS) et enseignant associé à l'Université Paris I Panthéon-Sorbonne. En 1992, il devient membre senior au Laboratoire d'économie environnementale de l'université Paris-Dauphine.
Jean Marc Jancovici est connu pour son travail sur les questions de la transition énergétique et écologique, notamment le modèle d’équilibre partielement exogène (MODEP) utilisé pour étudier les conséquences de différentes stratégies en matière d'énergie. Il est l'auteur de nombreux articles scientifiques, livres et rapports sur ces questions.
Il a reçu plusieurs récompenses et distinctions pour son travail : le prix de la Fondation de France (1987), le prix Sylvestre Sadocier (1992), le prix d'écologie de l'Académie des sciences (2006) et le prix Léon-Bertrand (2008).
Jean Marc Jancovici est également un militant écologiste engagé, notamment dans la lutte contre les réacteurs nucléaires EPR.