Jay est né dans une famille modeste à New York City. Il a fréquenté l'Académie King's College (aujourd'hui l'Université Columbia), où il a obtenu un diplôme en droit. Il a commencé sa carrière politique à la Chambre des représentants de la province du New York, puis a siégé au Congrès continental. En tant que secrétaire à la Guerre et à la Guerre de l'Indépendance des États-Unis, il a contribué à la victoire finale des Américains en 1783.
En 1785, Jay a été chargé par le Congrès continental d'élaborer les termes d'une entente entre les États-Unis et les Britanniques sur les dettes et les indemnités liées à la guerre de Sept Ans et à la Guerre de l'Indépendance. Cette négociation a conduit à la signature du Traité de Paris en 1786, qui établissait définitivement les frontières des États-Unis avec le Canada britannique.
En tant que secrétaire aux Affaires étrangères, Jay a été chargé de négocier les traités commerciaux avec les puissances européennes, notamment la Grande-Bretagne et la France. Son plus grand accomplissement en tant que diplomate fut la Lettre fédérale, une série de lettres échangées entre lui et le ministre britannique William Pitt au sujet des relations commerciales entre les deux pays. La lettre a abouti à un accord qui a résolu la plupart des différends commerciaux entre les deux pays et a permis aux États-Unis de commencer à développer une économie industrielle.
En 1789, John Jay a été le premier juge nommé par George Washington au Tribunal suprême. Il a occupé ce poste jusqu'en 1795, puis a quitté pour retourner à la politique en tant que gouverneur de New York. Il a également continué à servir comme arbitrateur dans des différends commerciaux entre les États-Unis et la Grande-Bretagne, notamment lors du Traité de Jay (1794), qui a résolu le conflit entre les deux pays sur l'indemnité due aux Américains pour le prise de navires britanniques.
Jay est décédé en 1829 à la maison de sa famille, Westchester County, dans l'État de New York. Il a été enterré avec les autres Pères fondateurs des États-Unis dans le cimetière de la Trinité à Manhattan. En reconnaissance de ses services rendus à la nation, il est inscrit au National Statuary Hall Collection à Washington DC.