Né à Paris, en France, il a grandi dans une famille d'origine belge. Son père était un négociant en coton qui possédait également plusieurs plantations en Afrique du Sud et à La Réunion. Sa mère était la fille d'un banquier bruxellois. Olivier a reçu son éducation à l'école Sainte-Geneviève à Versailles, puis il a étudié à l'École des Beaux-Arts de Paris où il a suivi les enseignements d'Alexandre Cabanel et Jules Lefebvre.
En 1892, Olivier rencontre Pierre Puvis de Chavannes, qui avait été professeur à l'École des Beaux-Arts. De Chavannes était impressionné par les talents artistiques d'Olivier et l'a présenté aux cercles artistiques de Barbizon. Olivier a été influencé par la nature et le style des peintres de l'Ecole de Barbizon, dont Charles François Daubigny, Théodore Rousseau, Jules Dupré et Camille Corot.
En 1896, Olivier remporta un prix de voyage à l'Exposition universelle de Paris grâce à son tableau *Les Cueilleurs de Mûres*. Grâce au prix de voyage, il a voyagé en Europe et en Égypte. En 1897, il se rendit au Maroc où il a peint des portraits et des scènes de vie quotidienne.
Olivier a continué à peindre et à sculpter tout au long de sa vie. Ses tableaux sont exposés dans plusieurs musées en France, dont le Musée d'Orsay, le Musée de Grenoble et le Musée de Toulouse-Lautrec à Albi. En 1923, il a été élu membre honoraire de l'Académie des sciences, des lettres et des arts de Bruxelles.
Olivier est mort en 1946 à Paris et repose au cimetière de Montmartre. Son œuvre est marquée par son amour pour la nature, sa sensibilité à l'expressivité du style Barbizon et son talent pour capturer les nuances de la lumière. Il est considéré comme un des peintres les plus importants de son époque en France.