Né à Chanteloup-en-Brie dans la Marne, il grandit dans une famille bourgeoise et reçut une éducation classique avant d'être envoyé au lycée Militaire de Saint-Cyr en 1947. Cependant, ses aspirations artistiques l'amènent à quitter l'armée et à se tourner vers la photographie.
En 1935, il assiste à une exposition de Brassaï, ce qui influence profondément sa carrière. Il rejoint en 1936 le Groupe des XV au sein duquel il côtoie Robert Doisneau et André Kertész. En 1937, il publie son premier livre "Bucolique" (ou Le Retour à la terre) qui est un recueil de clichés pris dans sa région natale.
En 1947, il crée l'Agence Robert Doisneau et lui-même, avec deux caméras Leica qu'il emporte partout, parcourt les rues et les paysages français pour réaliser ses photographies. Il voyage également en Espagne (Guernica), en Inde, au Moyen-Orient (Israël) et dans l'ex-URSS.
En 1952, il crée le magazine France-Asie, un projet d'information culturelle sur les pays asiatiques qu'il poursuit jusqu'en 1967. En 1954, il fonde avec Robert Delpire la maison d'édition du même nom, qui publie notamment le célèbre livre "Les Amours de l'après-midi".
En 1955, il est membre fondateur du groupe Magnum Photos avec Robert Capa, David Seymour, George Rodger et Robert Doisneau.
Son style photographique est marqué par le principe de "l'instant décisif", où le photographe doit capter l'intense concentration d'une scène qui s'écoule au fil du temps, à la limite de l'évidence et de l'abstraction.
En 1975, il publie son célèbre livre "La Chine", qui retrace ses voyages en Chine depuis les années 1930 jusqu'aux années 1970. Il a également réalisé des photographies pour de nombreuses institutions culturelles et artistiques telles que le musée du Louvre, la Bibliothèque nationale de France ou encore l'Opéra de Paris.
En 1982, il quitte Magnum Photos mais continue à travailler jusqu'à sa mort en 2023, laissant un héritage de plus de 35 livres et plusieurs expositions qui témoignent de sa carrière exceptionnelle.