Il a grandi dans le quartier du Belleville, à Paris, où il a suivi ses études secondaires au lycée Claude-Bernard. Après avoir travaillé dans divers métiers, notamment comme électricien et charpentier, Jean Canolle a finalement décidé de se consacrer à la comédie.
En 1979, il s'est inscrit au cours Florent, qui lui a permis de développer ses talents d'acteur. Il a également fréquenté l'École nationale supérieure des arts et techniques du théâtre (ENSATT) à Versailles.
En 1982, Jean Canolle est engagé par les Frères Jacques pour remplacer le comédien Alain Chabat, qui avait quitté la troupe. Il a joué avec eux dans plusieurs spectacles dont "Les Frères Jacques et le Monde Merveilleux de l'Océan" (1983), "Casino Royale" (1984) et "Rien qu'un rêve" (1985).
En 1987, il a rejoint la troupe de Jean-Marie Bigard pour participer à l'émission télévisée "On ne peut pas plaire tout le monde". Il a également joué dans plusieurs émissions comme "Les Nuits du Grand large" (1988), "Big bazaar" (1993) et "Le Plus grand cabaret du monde" (2004).
En 1995, il a participé à l'émission "La Nuit des Fous", dans laquelle il a interprété un personnage de charpentier fou. Cette performance lui a valu une nomination au Molière du comédien le plus plaisant et aux Victoires de la musique du duo le plus drôle pour son duo avec Patrick Timsit.
En 2003, il a joué dans "Le Dîner de Cons", où il interprétait un charpentier nommé César. La même année, il a participé à la première saison de l'émission "Danse avec les stars".
Depuis 2015, Jean Canolle est également acteur dans des séries télévisées comme "Plus belle la vie" et "Famille d'accueil".
En 2018, il a joué le rôle de René Fournier, un comédien d'une pièce érotique à Paris, dans la comédie dramatique "Maison de ma mère" réalisée par Martin Provost. Cette performance lui a valu une nomination aux César du meilleur acteur dans un second rôle.
Jean Canolle est également un artiste polyvalent qui s'est illustré comme sculpteur, peintre et photographe. Il a également publié plusieurs livres dont "La Vie à moi" (1996) et "Le Chapeau de mon père" (2018).
En 2019, il a participé à la saison 8 de l'émission "Danse avec les stars" pour défendre la cause de la Ligue contre le cancer.