Il a commencé sa carrière de pilote en 1922, en participant à des courses automobiles sur circuits courts. En 1924, il a remporté le Circuit des Ardennes et le Grand Prix de Dieppe. Pendant cette période, il a également participé au Grand Prix de France et au Grand Prix de Monaco.
En 1925, Caziot a signé un contrat avec Talbot-Darracq pour participer à la Coupe Vanderbilt aux États-Unis. Il a terminé quatrième sur six participants dans l'événement et a remporté une course à Indianapolis.
En 1926, Caziot a rejoint l'équipe Bugatti et a participé au Grand Prix de France à Montlhéry. La même année, il a également participé au Grand Prix d'Italie, au Grand Prix de Belgique et au Grand Prix de Suisse.
En 1927, Caziot a remporté le Grand Prix de France à Montlhéry pour la deuxième fois consécutive en utilisant une Bugatti Type 35B. Il a également terminé deuxième du Grand Prix d'Italie et troisième au Grand Prix de Belgique.
En 1928, Caziot a participé à son premier Grand Prix du Monde pour la première fois en tant que pilote officiel de Bugatti. Il a terminé quatrième à Spa-Francorchamps et a remporté le Grand Prix de France à Montlhéry pour la troisième année consécutive.
En 1929, Caziot a participé au Grand Prix du Monde pour la deuxième fois en tant que pilote officiel de Bugatti. Il a terminé septième dans le championnat du monde des pilotes.
Caziot a continué à courir jusqu'en 1936, participant à diverses courses automobiles en France et à l'étranger. Après sa carrière de pilote, il a ouvert une école de pilotage automobile à Saint-Cloud, près de Paris.
Caziot est considéré comme l'un des meilleurs pilotes français de son époque et a été intronisé au Temple de la renommée des sports mécaniques en 1965.