Né à Paris, Jean Ehrmann a été élevé par ses grands-parents maternels à Strasbourg après que ses parents ont divorcé lorsqu'il était encore jeune. Il a étudié le droit et la philosophie à l'université de Strasbourg avant de se consacrer entièrement à l'écriture.
En 1928, il a publié son premier roman sous le pseudonyme de Jean Ehrmann. Son style de écrivain a été influencé par les auteurs américains de romans noirs comme Dashiell Hammett et Raymond Chandler. Deux ans plus tard, il adopte pour toujours le nom de Jean Ehrmann et publie un nouveau roman intitulé "Le Mystère des Halles".
En 1936, il crée avec Jacques Spitz la maison d'édition Gallimard Série noire, dont il deviendra le rédacteur en chef. La collection est dédiée aux romans policiers et accueille de nombreux auteurs talentueux, tels que Boileau-Narcejac, Léo Malet ou encore Frédéric Dard.
Pendant la Seconde Guerre mondiale, Jean Ehrmann rejoint l'armée française et est fait prisonnier par les Allemands. Il s'évade et rejoint la Résistance, où il collabore avec des journalistes britanniques pour transmettre des informations à Londres.
Après la guerre, Jean Ehrmann reprend sa carrière d'écrivain en publiant de nombreux romans policiers, dont "La Nuit du carrefour" (1946), qui lui vaut le prix Mystère de la critique en 1947. Il poursuit également son activité éditoriale à Gallimard Série noire jusqu'en 1972.
Jean Ehrmann a reçu de nombreuses distinctions pour son travail, dont le Grand prix du roman d'aventures en 1954, le Grand prix de la fiction policière en 1968 et la Médaille d'or du CÃrculo de Bellas Artes espagnol en 1972.
En 1973, il est fait chevalier de la Légion d'honneur. Il meurt le 27 mars 1983 à Paris. Aujourd'hui, Jean Ehrmann reste un écrivain apprécié pour sa maîtrise du suspense et son sens du dialogue.