Il commence sa carrière dans le monde du spectacle en 1983, comme membre d'une troupe de théâtre amateur. Après des études à l'École nationale supérieure des arts décoratifs (ENSAD), il travaille comme dessinateur pour divers studios d'animation, notamment pour les studios Pixar.
En 1994, Jean Zimmer fait ses débuts au cinéma en jouant dans le film *Le Hussard sur le toit* de Jean-Paul Rappeneau, aux côtés de Juliette Binoche et Gérard Depardieu. Il obtient son premier rôle majeur l'année suivante, dans le film *La Cité de la peur* de Alain Berberian.
En 1997, Jean Zimmer tourne avec Jean-Paul Rappeneau une nouvelle fois pour le film *Coco*, aux côtés de Sarah Jessica Parker et Marlon Brando. Il a ensuite joué dans plusieurs autres films notables, tels que *Un héros très discret* (2000), *Le Pianiste* (2002) et *Monsieur Ibrahim et les fleurs du Coran* (2003).
En 2011, Jean Zimmer fait ses débuts de réalisateur avec le film *Un été brûlant*, qui reçoit un accueil critique positif. Il réalise depuis plusieurs autres films, notamment *Le Grand Huit* (2014), *Le Dernier des fous* (2016) et *L'Amour flou* (2018).
Jean Zimmer est également actif dans le théâtre et a joué dans plusieurs pièces notables, tels que *La Mouette* d'Anton Tchekhov et *Le Cid* de Corneille. Il a également dirigé des pièces de théâtre, notamment une adaptation de *Romeo et Juliette*.
En 2019, Jean Zimmer est récompensé par le Prix Lumière du meilleur acteur pour son rôle dans le film *Le Grand Bazar* de Samuel Collardey. Il a également reçu plusieurs autres prix et nominations au cours de sa carrière, notamment une nomination aux Césars en 2003 pour son rôle dans *Monsieur Ibrahim et les fleurs du Coran*.