Après des études à l'École normale supérieure de la rue d'Ulm, il enseigne au Lycée Louis-le-Grand avant de s'engager dans la Résistance pendant la Seconde Guerre mondiale. Il est arrêté et déporté en Allemagne où il restera jusqu'en 1945.
Après la guerre, Jean-Pierre Pujol reprend ses études à l'Université de Paris et obtient un diplôme d'études supérieures spécialisées en philosophie. Il travaille ensuite comme maître-assistant à la Sorbonne puis comme professeur au lycée de Perpignan où il enseigne la philosophie jusqu'en 1968.
En 1953, il fonde le mouvement politique républicain socialiste (RS) avec Jean-Jacques Servan-Schreiber et André Philip. Il est élu député de la première circonscription des Pyrénées-Orientales en 1962 et occupe plusieurs ministères durant les gouvernements de Georges Pompidou : le ministère du Bicentenaire en 1970-1971, puis celui de l'Agriculture en 1972-1973.
Il quitte le gouvernement et le RS en 1974 pour rejoindre l'Union des démocrates pour la République (UDR) créée par Jacques Chaban-Delmas puis, après la dissolution de cette formation politique, il rejoint les rangs du RPR.
En 1986, Jean-Pierre Pujol est élu député européen, un mandat qu'il exerce jusqu'à sa mort en 2004. Il a également été président de l'Assemblée parlementaire du Conseil de l'Europe et membre du Comité des régions.
Au niveau local, il a été maire de Perpignan de 1983 à 1995, ce qui lui vaut d'être considéré comme un pionnier de la politique européenne en France.
Enfin, Jean-Pierre Pujol est l'auteur de plusieurs ouvrages philosophiques et historiques dont "L'Histoire humaine" (1960), "La Guerre des deux Alpes" (1978) et "Les Larmes de la terre" (1992).