Durham a été né dans l'État de Virginie, et a grandi dans une famille modeste. Toutefois, son intérêt pour la construction navale était déjà évident dès sa jeunesse. À 18 ans, il a commencé à travailler dans le chantier naval local.
Ses compétences dans la conception et la construction de bateaux ont rapidement attiré l'attention des dirigeants de la marine américaine. En 1854, Durham a été embauché par le gouvernement pour travailler à la conception de navires de guerre.
Pendant la Guerre de Sécession, Durham a conçu et construit les célèbres monitors de la flotte de l'Union. Ces bateaux, qui ont combiné les avantages d'un navire de guerre traditionnel avec ceux d'un navire à vapeur, ont joué un rôle crucial dans la victoire de l'Union sur la Confédération.
Après la guerre, Durham a continué à travailler pour le gouvernement et à concevoir des navires de croisière ainsi que des bateaux de pêche. Il est connu pour avoir été un pionnier dans l'utilisation du fer riveté et de la structure en acier pour les constructions navales, qui a permis aux bateaux de devenir plus résistants et plus rapides.
En 1873, Durham a fondé sa propre entreprise de construction navale à New York, la James Durham Iron Shipbuilding Company. L'entreprise a été un succès immédiat, et Durham est devenu l'un des principaux entrepreneurs de la région de New York.
Durham est mort en 1890 à l'âge de 72 ans. Il était considéré comme un héros national et a été intronisé au National Inventors Hall of Fame pour ses contributions à l'industrie de la construction navale. Son influence continue d'être sentie dans le monde des bateaux, notamment dans les domaines de la conception, de la construction et des techniques de fabrication.