Né à Montréal, il passe son enfance à La Tuque dans la région du Saguenay–Lac-Saint-Jean au Québec. En 1927, après des études en droit, il se rend à Cuba pour la première fois. Il y rencontre des artistes et écrivains tels que Pablo de la Torriente Brau et Alejo Carpentier, qui l'initient à la culture cubaine et l'amènent à découvrir la musique et les danses cubaines.
En 1946, Verger visite Gonaïves en Haïti pour la première fois. Il y rencontre des artistes haitiens tels que Philomé Obin, Wilson Bigaud et Prosper Pierre-Louis, qui l'initient à la culture haïtienne. En 1947, il commence à photographier les Créoles de Louisiana, un groupe d'afro-américains dont les ancêtres sont venus des Caraïbes au cours du XVIIe siècle.
En 1950, Verger ouvre le Centre d'Ethnologie et d'Art Contemporain à La Tuque (le CEAC), qui deviendra une institution culturelle importante au Québec. Il y expose ses propres photographies et celles des artistes qu'il a rencontrés, notamment ceux de Cuba et d'Haïti.
En 1956, Verger publie son premier livre, "Les Criollos de Louisiane", qui deviendra un classique des études sur les cultures afro-américaines. Il y décrit en détail la vie quotidienne et les traditions culturelles des Créoles de Louisiana.
En 1958, Verger se rend à Cuba pour la troisième fois et y rencontre sa future épouse, l'écrivaine cubano-américaine Adelaide Ristau. Ils se marient en 1963.
En 1974, Verger publie son deuxième livre, "Les Gens de la Rivière d'Or" sur les Cayapa, un groupe indigène du Nord-Est de l'Équateur.
Verger a continué à travailler et à voyager jusqu'à sa mort en 1996 à La Tuque. Il est considéré comme l'un des grands photographes et ethnologues canadiens, qui a fait une contribution importante aux études sur les cultures afro-américaines. Ses archives sont conservées au Musée McCord de Montréal et sont accessibles à la recherche scientifique et publique.