Il a suivi ses études supérieures à l'École nationale d'administration (ENA), après avoir obtenu une licence de mathématiques à l'Université Paris-Sud et un diplôme d'ingénieur à l'École des mines de Paris.
En 1973, il entre au ministère des Finances où il occupera différents postes jusqu'en 1982. Il sera notamment conseiller technique du directeur général des Finances publiques et chef du cabinet économique du ministre des Finances, Valéry Giscard d'Estaing.
En 1982, il est nommé directeur de cabinet de Jacques Delors, alors président de la Commission européenne. Il restera à cette fonction jusqu'en 1985, date à laquelle il sera chargé des relations avec le Parlement européen.
En 1987, Jean-Louis Trossat est nommé directeur général de la Banque de France. Cette nomination faisait suite aux réformes de Michel Camdessus qui ont voulu donner plus d'indépendance à la banque centrale française. Au cours de son mandat, il s'attache à renforcer les liens entre la Banque de France et les banques commerciales françaises en introduisant le système des taux directifs.
En 1992, il retourne à la Commission européenne où il est chargé du budget. Il occupera cette fonction jusqu'en 1995, date à laquelle il sera nommé conseiller économique de Jacques Delors en vue de la préparation des négociations sur le traité de Maastricht.
En 1996, il est élu directeur général du Fonds monétaire international (FMI). Au cours de son mandat, il se prononce notamment contre les interventions massives de l'organisation dans la crise des rouble russe et des krone suédoises. Il quitte le FMI en 2001 pour devenir président de la société de conseil BearingPoint Europe.
Jean-Louis Trossat est également professeur à l'Institut d'études politiques de Paris (Sciences Po) et au Collège de France. Il est chevalier de la Légion d'honneur.