Après avoir travaillé comme marin, il s'engagea dans le syndicalisme et devint rapidement un chef syndical influent à Liverpool. En 1907, il émigra en Irlande pour y aider à l'organisation du mouvement ouvrier irlandais. Il fonda la National Union of Railwaymen (Union nationale des chemins de fer) et devint secrétaire général de l'Irish Transport and General Workers' Union (Union irlandaise des travailleurs des transports et généraux), poste qu'il occupa jusqu'en 1926.
Larkin est connu pour son style agitateur, qui incluait souvent des grèves générales, des manifestations et des pétitions à l'adresse du gouvernement britannique. Il était particulièrement impliqué dans la lutte des travailleurs pour améliorer leurs conditions de travail et leur salaire. Ses actions ont conduit à plusieurs émeutes, dont certaines ont abouti à des événements sanglants, comme l'Insurrection de Dublin en 1916.
En plus de son activité syndicale, Larkin a également été un fervent partisan de l'indépendance irlandaise. En 1917, il fonda le Sinn Féin, le parti qui alla finalement à la tête de la République irlandaise indépendante. Il s'engagea également dans des activités politiques et fut élu conseiller municipal à Dublin en 1920.
Malgré son activité révolutionnaire, Larkin a été plusieurs fois arrêté et emprisonné par les Britanniques. Après la guerre d'indépendance irlandaise, il continua à être actif dans le syndicalisme jusqu'à sa mort en 1947.
James Larkin est considéré comme l'un des pères fondateurs du syndicalisme irlandais et un héros national pour les travailleurs irlandais. Il a laissé un héritage important dans le mouvement ouvrier irlandais et sa légende continue à vivre aujourd'hui.