Né à Palaiseau près de Melun en Île-de-France, il a étudié le droit et la philosophie à Paris, puis a enseigné à Corbeil. Il s'est ensuite rendu à Laon pour suivre les cours d'Irénée d'Ostrevent, un des maîtres les plus renommés de son époque. En 1113, Abélard entre à l'abbaye de Saint-Denis et rejoint le mouvement des Prémontrés, devenant moine au monastère de Saint-Germain-des-Prés.
En 1116, il se rend à Melun pour y enseigner la philosophie à sa nièce Héloïse, qui est devenue sa pupille après que ses parents ont été tués. La relation entre les deux personnes va dégénérer en une passion extrêmement forte, aboutissant à un scandale public lorsque le bâtardment de Héloïse est révélé par l'intermédiaire d'une lettre anonyme. Abélard est forcé de se faire castrer pour éviter les poursuites et il convient une union religieuse entre lui et Héloïse, qui devient abbesse du prieuré de l'Arsenal, près de Paris.
Abélard a enseigné à Paris, Bologne, Montpellier et Chartres. Il est considéré comme le père de la logique scolastique et a notamment contribué aux travaux sur les propositions, le syllogisme, les relations entre termes et la théorie des universaux. Son œuvre la plus connue est intitulée "Sic et Non" et est une collection de questions philosophiques et théologiques qu'il a formulées pour être débattues par ses élèves.
Il meurt à Paris en 1142, à l'âge de 63 ans. Héloïse lui survit quelques années et continue à diriger le prieuré d'Arsenal. Les lettres échangées entre les deux personnes ont été conservées et sont une source importante pour connaître leur vie et leurs idées.