Après des études à l'École des Beaux-Arts de Nancy, il poursuit sa formation à l'École nationale supérieure des beaux-arts de Paris où il remporte en 1914 le premier Grand Prix de Rome avec son projet de musée moderne.
De retour de Rome, il est mobilisé comme officier d'artillerie pendant la Première Guerre mondiale. Pendant ce temps, il participe à la rédaction du journal de l'École supérieure des beaux-arts, qu'il a cofondé avec ses camarades Charles Labenne et André Lurçat.
En 1924, il est chargé par les villes de Toulouse et de Nevers d'étudier le plan directeur pour la reconstruction de leurs centres historiques. À partir de là , il s'illustre dans des projets urbains de grande ampleur comme la reconstruction du centre-ville de Strasbourg après la Seconde Guerre mondiale, ou encore les plans d'urbanisme de Lille et Grenoble.
En 1934, André Devambez est nommé directeur général des Beaux-Arts en remplacement de Camille Lefèvre. Il y occupera ce poste jusqu'en 1952. Pendant cette période, il s'attache à améliorer les conditions matérielles des élèves et à moderniser l'enseignement de l'École des Beaux-Arts, en particulier en introduisant la pratique de l'architecture moderne.
En 1947, il est nommé membre du Comité national des monuments historiques, poste qu'il occupera jusqu'en 1963. En 1958, il est élu à l'Académie des beaux-arts dans la chaire de Camille Lefèvre.
En 1963, André Devambez est nommé membre du Conseil supérieur des monuments historiques et des sites, fonction qu'il occupera jusqu'à sa mort en 1973.
Durant toute sa carrière, André Devambez a laissé son empreinte sur le paysage architectural français avec ses projets d'édifices publics tels que la préfecture de Paris, l'hôtel des ventes de Toulouse ou encore l'hôtel de la Ville à Paris.
Il est élu membre de l'Académie des sciences morales et politiques en 1958 et reçoit plusieurs distinctions dont la Légion d'honneur (Commandeur) en 1954, le Grand Prix national de l'architecture en 1960 et le Grand Prix de l'Académie des beaux-arts en 1971.