Felde grandit à Berlin et étudie la médecine à Leipzig. Cependant, il abandonne ses études pour se consacrer pleinement à l'art après avoir été exposé aux œuvres de Wassily Kandinsky et Franz Marc. En 1915, Felde fréquente le cabaret Cubiste "Der Sturm" à Berlin, où il rencontre des artistes dada tels que Hannah Höch, Raoul Hausmann et John Heartfield.
Felde se lie d'amitié avec George Grosz et les deux artistes fondent une revue satirique intitulée "Die Schammkopf" (La Tête de Poule). En 1916, Felde rejoint le mouvement dada et commence à exposer ses œuvres dans des galeries dadaistes. En 1917, il est membre fondateur du groupe Cabaret Voltaire à Zurich avec Tristan Tzara, Hans Arp et Hugo Ball.
En 1920, Felde s'installe définitivement à Berlin et devient l'un des artisans de la scène artistique berlinoise. Il travaille également pour des revues telles que "Gebrauchsgraphik" et "Machine à écrire". En 1930, il est invité par Theo van Doesburg à participer à la De Stijl, mais il refuse car il ne veut pas participer à un mouvement.
En 1933, après l'arrivée au pouvoir des nazis en Allemagne, Felde quitte le pays et part vivre à Paris. Il y continue à travailler comme graphiste pour diverses revues françaises, telles que "Le Grand Jeu" et "Les Temps Modernes". Il continue également à exposer ses œuvres dans des galeries parisiennes.
Felde meurt en 1945 à Paris, victime d'une tuberculose contractée lors de son exil. Son travail a été reconnu et apprécié par les critiques et il est considéré comme un artiste important du mouvement dada. Il est notamment connu pour ses collages, ses dessins et ses gravures.