Après des études de jazz au Berklee College of Music de Boston, Joly Philippe a commencé sa carrière professionnelle dans les années 1980, collaborant avec des musiciens tels que Eddy Louissou, Michel Portal ou encore Jacky Terrasson.
En 1987, il sort son premier album solo intitulé "Chromosome". L'album est marqué par un style mélangeant de manière originale des influences jazz, classiques et électroniques. Ce travail lui vaut rapidement la reconnaissance critique et le soutien d'une clientèle fidèle.
En 1989, Joly Philippe crée son propre label discographique, "Mannequin", sur lequel il publie plusieurs de ses albums suivants, tels que "Fleurs de l'ombre" (1992) et "Paroles de silence" (1994).
Au début des années 2000, Joly Philippe commence à explorer de nouvelles directions musicales en incorporant des influences électroniques dans son travail. Il travaille avec divers producteurs électro, comme Air ou Boom Bass, et produit également des collaborations avec d'autres artistes tels que Vincent Gallo ou Sébastien Tellier.
Joly Philippe est également connu pour sa participation à de nombreux projets collectifs, notamment en collaboration avec des musiciens de rock tels que Bernard Bonnet et Didier Lockwood. Il a également travaillé avec des artistes classiques, comme le violoncelliste Jean-Guihen Queyras ou la chanteuse Barbara Hendricks.
En 2010, il reçoit le prestigieux Prix Django Reinhardt pour l'ensemble de sa carrière.
Depuis ses débuts jusqu'à présent, Joly Philippe a enregistré plus d'une vingtaine d'albums et a joué sur des scènes dans tout le monde. Ses compositions sont marquées par une grande virtuosité, une grande émotion et un sens aigu de l'innovation musicale.