Adorf commence sa carrière d'acteur en 1954, après avoir été remarqué par l'acteur Helmut Käutner lors d'une audition à Berlin. Il apparaît alors régulièrement dans des productions télévisées et cinématographiques allemandes jusqu'en 1960, avant de se consacrer presque exclusivement au cinéma italien.
Il obtient son premier rôle important en 1962 dans le film "La ragazza del palazzo di fronte" de Luigi Componazzo et Pasquale Festa Campanile. Il collabore ensuite avec des réalisateurs tels que Pier Paolo Pasolini, Michelangelo Antonioni, Franco Zeffirelli, Liliana Cavani et Luchino Visconti, interprétant notamment des rôles importants dans les films "Le Déclin de l'empire romain" de Pasolini, "La superba Clotilde" d'Antonioni et "L'Évangile selon Matthieu" de Visconti.
Dans les années 1970, Adorf travaille aussi avec des réalisateurs tels que Volker Schlöndorff, Wim Wenders, Rainer Werner Fassbinder et Werner Herzog, interprétant notamment des rôles importants dans les films "La Marche de l'empereur" de Schlöndorff et "Fitzcarraldo" d'Herzog.
Adorf obtient le prix du meilleur acteur au festival de Cannes en 1982 pour son rôle dans le film "Tout va bien" d'Yves Robert, aux côtés de Yves Montand et Sophia Loren. Il est également nommé à deux reprises pour un César du meilleur acteur dans un second rôle : en 1984 pour son rôle dans "La Tentation d'Orphée" de Jean-Claude Brialy, et en 2000 pour son rôle dans "Cinq minutes de l'hétéreux" de Radu Mihaileanu.
Adorf est également actif sur la scène théâtrale et a joué dans de nombreuses productions, notamment au théâtre Schaubühne de Berlin. Il est aussi un écrivain prolifique, publiant des livres de poésie, de mémoires et de théâtre.
Adorf reçoit la grand-croix du mérite de la République fédérale d'Allemagne en 1984 et est nommé commandeur de l'ordre national de la Croix du Sud par le gouvernement brésilien en 2003. Il continue à travailler actuellement à la scène et au cinéma.