Après des études à l'École normale supérieure de la rue d'Ulm et une agrégation de lettres modernes en 1968, il commence sa carrière dans le journalisme au quotidien "Le Monde". En 1972, il est nommé rédacteur en chef adjoint à "L'Express", où il reste jusqu'en 1975.
En 1975, il devient rédacteur en chef du magazine "Télérama", poste qu'il occupe jusqu'en 1984. Pendant cette période, il collabore également à plusieurs journaux et magazines tels que "Le Nouvel Observateur" et "Les Inrockuptibles".
En 1984, Jean-Pierre Michel rejoint la chaîne de télévision Antenne 2 (devenue France 2), où il anime différents émissions jusqu'en 1989. Il retourne ensuite à l'écriture pour le journal "Libération".
En 1995, Jean-Pierre Michel est nommé rédacteur en chef du quotidien "Le Figaro", poste qu'il occupe jusqu'en 2007. Durant cette période, il devient également rédacteur en chef adjoint à l'hebdomadaire "L'Économiste" de 1998 à 2005.
Jean-Pierre Michel a également publié plusieurs ouvrages, parmi lesquels figurent "La France est folle" (1984), "Les Français dans la tourmente" (1996) et "Le Grand Rappel" (2007).
En 2007, il devient éditorialiste à l'hebdomadaire "Challenges", poste qu'il occupe toujours à ce jour. Il a également été un des membres de la Commission du Règlement et de la Procédures du Parlement européen de 2007 à 2009, dont il fut le rapporteur du budget de l'Union européenne.
Enfin, Jean-Pierre Michel est Officier dans l'Ordre national de la Légion d'honneur et a reçu plusieurs prix journalistiques, notamment le Grand Prix de l'Académie française en 1983 pour l'ensemble de son œuvre.