Arp naquit à Strasbourg, alors partie de l'Allemagne, mais il a grandi en Alsace, territoire disputé entre la France et l'Allemagne au cours des siècles précédents. Sa famille était francophone et sa langue maternelle était le français. Il fréquenta les écoles à Strasbourg et à Nancy avant d'être accepté à l'École nationale supérieure des beaux-arts de Paris, en 1904, où il rencontra les peintres Robert Delaunay et Fernand Léger.
En 1916, avec son ami suisse Theo van Doesburg, il fonda le mouvement artistique De Stijl. Le mouvement est principalement connu pour sa simplicité géométrique et sa pureté des couleurs. Arp se sépara de ce groupe en 1923 pour développer son propre style plus organique.
Pendant la Première Guerre mondiale, Arp fut l'un des fondateurs du mouvement Dada, avec Marcel Duchamp et Tristan Tzara, à Zurich, en Suisse. L'art dada a été créé comme une réaction contre la violence de la guerre. Les artistes dadaistes ont produit un large éventail de travaux expérimentaux et irréfléchis, dont les œuvres sont souvent politiquement engagées ou provocatrices.
En tant que poète concrète, Arp a été l'un des premiers à explorer les liens entre le texte et la forme graphique. Son travail poétique est fortement influencé par son travail artistique, et inversement. Il a également travaillé comme un éditeur et critique d'art et a publié plusieurs livres sur l'art.
Dans ses dernières années, Arp a continué à produire de l'art abstrait influencé par la nature, dont la forme organique est largement inspirée par les formes qu'il observait dans la vie quotidienne. Son travail a été exposé à travers le monde et il continue d'être considéré comme un pionnier important de l'art abstrait moderne.