Il a grandi dans une famille d'origine française. Sa vocation religieuse est apparue lorsqu'il était étudiant au collège de Jean-de-Brébeuf à Montréal. Il a rejoint les Frères des Écoles Chrétiennes et a été ordonné prêtre en 1916.
En 1924, il fut nommé évêque auxiliaire de Montréal. À partir de 1931, il occupa successivement les postes d'évêque de Saint-Hyacinthe (1931-1940), archevêque de Rimouski (1940-1947) et enfin archevêque de Montréal (1947-1957).
En 1950, il fut élevé au rang de cardinal. Il participa aux trois conclaves papaux qui ont suivi la mort de Pie XII : celui de 1958 (élaboration du pape Jean XXIII) et ceux de 1963 (élaboration des papes Paul VI et Jean-Paul Ier).
Sous son épiscopat à Montréal, il fut actif dans la promotion de l'aide aux moins fortunés, la défense des droits civiques et politiques, ainsi que le développement du catholicisme social. Il est notamment connu pour avoir fondé les Congrégations Oblates de Notre-Dame, dédiées à l'éducation des filles pauvres dans les régions rurales du Québec.
Il est parfois surnommé le "Cardinal de la justice sociale" en raison de ses positions avant-gardistes sur des questions telles que le suffrage féminin, le séparatisme québécois et la décolonisation. Il a été une figure importante dans l'histoire du Canada français, notamment dans son combat pour la reconnaissance et la défense de la culture française au Québec.
Il décéda le 7 juin 1957, à l'âge de 66 ans. Il fut inhumé dans la cathédrale Notre-Dame de Montréal, où son tombeau est toujours visible aujourd'hui. Sa vie et son action ont laissé un héritage important dans le monde catholique canadien, en particulier au Québec.