Issu d'une famille de militaire, Morris grandit en partie au Canada et à New York. Il effectua des études à l'université Harvard, où il obtint un diplôme de littérature anglaise. Après son diplôme, il s'engagea dans le corps des Marines américains, participant notamment à la guerre du Viêt Nam.
En 1958, après avoir quitté l'armée, Morris décida d'entreprendre un voyage avec ses deux frères en canot de voyageur à travers le Yukon. L'expédition s'avéra être extrêmement pénible et les trois hommes ne purent parcourir que 150 kilomètres avant d'être bloqués par des icebergs. Ils furent finalement sauvés après avoir été réunis avec un équipage de chasseurs de phoques.
Cet événement marqua la vie de Morris, qui décida d'en faire son livre autobiographique "Three Against the Yukon", publié en 1967. Le livre fut un succès critique et commercial et a permis à Morris de s'installer définitivement à New York, où il continua sa carrière littéraire.
James Morris est également connu pour avoir écrit "The Fishermen of the Gambia", qui raconte son expérience dans un village du Gambie, ainsi que "A Man's Place", qui traite de la vie d'un couple à New York City au début des années 1970.
Morris a également travaillé comme journaliste et rédacteur en chef pour plusieurs journaux et magazines, notamment le New York Times et le Saturday Evening Post. Il reçut de nombreux prix littéraires, dont le National Book Award et le PEN/Faulkner Award.
James Morris est décédé à l'âge de 74 ans d'une leucémie aiguë. Son travail a eu une grande influence sur la littérature d'aventure et continue d'être étudié aujourd'hui.