Il a commencé sa formation artistique dans l'atelier d'Alexandre-Évariste Fragonard (1780-1850) à Paris, où il est resté jusqu'en 1826. À partir de cette année, Cazalot expose régulièrement au Salon de Paris et obtient un grand succès, notamment grâce à ses peintures de chevaux et de chiens. Il a également réalisé des portraits d'hommes et de femmes, ainsi que des scènes historiques et mythologiques.
En 1832, il est nommé professeur de peinture à l'École centrale du département des arts à Cherbourg. En 1849, il est élu à l'Académie des beaux-arts de Rouen. Il a également été membre de la Société des Amis des Arts de Caen et de la Société des Amis des Arts de Cherbourg.
Charles de Cazalot est considéré comme un des peintres les plus talentueux du XIXe siècle en matière de chevaux et de chiens, notamment grâce à son travail minutieux et à sa maîtrise technique. Il a également été un peintre prolifique, ayant produit plus de 1500 œuvres au cours de sa vie.
Au-delà de sa carrière professionnelle, Cazalot a également été connu pour être un collectionneur d'art et pour avoir amassé une importante collection de peintures, sculptures et dessins, notamment des œuvres de ses contemporains tels que Théodore Géricault et Eugène Delacroix. Cette collection est maintenant conservée à la bibliothèque municipale de Neuilly-sur-Seine.
Charles de Cazalot a également été un peintre érudit, ayant produit plusieurs ouvrages d'art théorique et d'histoire de l'art, notamment *Traité de peinture à l'huile* (1834) et *Mélanges de la vie et des oeuvres de son ami Théodore Géricault* (1850).