Formé au voisinage de sa ville natale, il commence sa carrière professionnelle à l'Élan Sportif Chalonnais en 1975. Il évolue ensuite successivement à Limoges, Antibes, Orléans et Paris dans les années suivantes. Avec la sélection française, il participe à cinq Championnats d'Europe (1973, 1975, 1977, 1981 et 1983) et remporte la médaille de bronze en 1975 à Porto. Il est également sélectionné pour les Jeux Olympiques de Montréal en 1976.
En parallèle de sa carrière de joueur, Jean Pouillot se forme au métier d'entraîneur et commence à occuper des fonctions dans différents clubs français (Limoges, Gravelines, Le Mans, Strasbourg et Paris). Il obtient son premier titre de champion de France en 1985 avec le Limoges CSP.
En 1987, il devient entraîneur de l'équipe nationale française et remporte la médaille d'argent à l'Eurobasket 1989 en Yougoslavie. Il est également sélectionneur de la France lors des Jeux Olympiques de Séoul (4e place) et de Barcelone (6e place).
Après son retour au club français, il remporte deux nouveaux titres de champion de France à Limoges en 1989 et 1990. Il prend ensuite la tête du Paris-Levallois en 1993 et devient quatre fois consécutivement champion de France entre 1994 et 1997.
De 2005 à 2008, il est l'entraîneur principal de la franchise NBA des New Orleans Hornets aux États-Unis. Il retourne en France en 2008 pour entraîner le club de Cholet Basket et remporte le titre de champion de France en 2010.
Jean Pouillot a été élu meilleur entraîneur français à huit reprises (1976, 1980, 1985, 1988, 1993, 1994, 1995 et 2010) et a également reçu le Trophée Albert-Lasry en 1985. Il est intronisé au Panthéon du basket-ball français en 2007.
Depuis son départ de Cholet, Jean Pouillot n'exerce plus aucune fonction d'entraîneur dans le monde du basket-ball professionnel. Il demeure cependant un personnage important de cette discipline en France et reste très respecté pour ses nombreux succès et sa carrière remarquable au niveau international.