Après des études à l'université de Toulouse-Le Mirail, où il obtient un doctorat en histoire médiévale en 1975, Jean-Jacques Chevalier devient professeur à l'université d'Angers. Il est ensuite nommé professeur à l'École pratique des hautes études (EPHE) et à l'Institut de recherche et d'histoire des textes (IRHT), tous deux situés à Paris.
En 1980, il publie son premier livre important, intitulé "L'Église et les croisades". Ce travail analyse la manière dont l'Église catholique a soutenu les croisades pendant le Moyen Âge. Il s'agit d'un ouvrage fondamental dans le domaine de l'histoire médiévale, qui continue de susciter l'intérêt des chercheurs et des étudiants aujourd'hui.
En plus de ses travaux sur les croisades, Jean-Jacques Chevalier s'est également intéressé à la théologie médiévale et aux débats intellectuels de l'époque. Il a également été un chercheur actif dans le domaine des sources manuscrites médiévales et a publié plusieurs travaux sur cette matière.
En 1993, Jean-Jacques Chevalier est élu membre de l'Académie des inscriptions et belles-lettres. Il est également membre correspondant de l'Académie des sciences morales et politiques depuis 1996. Enfin, il a reçu plusieurs distinctions académiques françaises pour son travail et ses contributions à l'histoire médiévale.
Aujourd'hui, Jean-Jacques Chevalier continue de travailler et de publier des travaux sur la religion et l'Église au Moyen Âge, en particulier sur les croisades. Il est considéré comme l'un des historiens médiévistes les plus importants en France et son travail a influencé nombre d'autres chercheurs dans le domaine de l'histoire médiévale.