John Harvard naquit en 1607 dans le village anglais de South Hingham (désormais appelé à côté d'Hingham), dans le comté d'Essex, en Angleterre. Sa date exacte de naissance est inconnue, mais on estime qu'il est né entre avril et septembre 1607.
En 1635, il émigra aux États-Unis avec sa famille à bord du navire "Lyon" pour rejoindre la colonie de Massachusetts Bay. À l'arrivée, ils s'établirent dans le village de Charlestown (qui est maintenant un quartier de Boston).
Harvard étudia au Newtowne Grammar School et fut admis à la Cambridge University en Angleterre en 1630. À son retour aux États-Unis en 1637, il devint instituteur à Charlestown. En 1638, il épousa Katherine Stoughton, fille du ministre John Stoughton et la sœur de Nathaniel Hawthorne.
En 1639, le gouverneur de la colonie de Massachusetts Bay, Thomas Dudley, lui confia la charge de se rendre en Angleterre pour récolter des fonds pour une future université. Il y retourna et étudia à l'Emmanuel College de Cambridge (où il mourut en 1638). Son testament stipulait que sa fortune personnelle devrait être utilisée pour la construction d'une école ou d'une université à la colonie. Il demanda également qu'elle soit nommée "Université de Harvard" à son nom.
John Harvard mourut en Angleterre le 14 septembre 1638, et ses restes furent transportés aux États-Unis après sa mort. Son legs permit la création de l'université Harvard en 1636 (onze ans avant sa naissance). La première classe à Harvard fut admise en 1638.
John Harvard est considéré comme un pionnier de l'éducation aux États-Unis et son nom est toujours associé au développement de la culture intellectuelle du pays.