Duff a commencé sa carrière professionnelle en 1874 au bureau d'études du Great Northern Railway (GNR) à Édimbourg. Il a rapidement réussi et, en 1880, il a été transféré à la direction de l'ingénierie de la ligne principale du GNR de Londres à York.
En tant qu'ingénieur de chemin de fer, Duff a contribué à la conception et à la construction de plusieurs importantes lignes de chemin de fer en Écosse et en Angleterre. Ses principales réalisations comprennent le prolongement du North Eastern Railway (NER) vers le nord-est d'Écosse, qui est maintenant la ligne principale entre Aberdeen et Inverness, ainsi que le développement de lignes de chemin de fer électrifiées dans la région de Newcastle upon Tyne.
En plus de son travail en tant qu'ingénieur de chemin de fer, Duff a également inventé plusieurs appareils technologiques importants. Ses inventions comprennent une caméra photographique à double objectif (1884) et un récempeur téléphonique automatique (1896). Il a également conçu des améliorations dans le domaine de la télégraphie sans fil.
Duff était également un écrivain prolifique, publiant plusieurs livres sur l'ingénierie des chemins de fer et les inventions. Un de ses écrits les plus célèbres est "The Railways of the United Kingdom" (1897), qui est toujours considéré comme une référence importante pour les historiens et les chercheurs intéressés par le développement des chemins de fer au Royaume-Uni.
Malgré sa mort en 1934, John Duff reste un figure de proue dans l'histoire du développement technique et industriel de la Grande-Bretagne. Ses réalisations en tant qu'ingénieur de chemin de fer, inventeur et écrivain ont été largement admirées et ont joué un rôle important dans le développement des technologies des chemins de fer moderne.