Né à Bruxelles dans une famille de la noblesse flamande, il hérita de nombreux domaines en Belgique et en France après la mort de son père en 1863. Il étudia l'art à Düsseldorf et à Paris, où il devint l'élève de Jean-Léon Gérôme. Tout au long de sa vie, il collectionna des chefs-d'œuvre d'artistes tels que Rembrandt, Rubens, Tiepolo, Veronese et Caravage.
En 1872, il acheta le château de Wijk en Aalst (aujourd'hui dans la commune d'Alost) qu'il fit agrandir en un palais extravagant. Il y rassembla une grande partie de sa collection d'art et y accueillit des artistes tels que James Ensor, Edgar Degas et Camille Pissarro. Le château de Wijk est aujourd'hui devenu un musée consacré à l'œuvre de Jean-Philippe Eugène de Mérode.
En 1876, il acheta le palais de Ravello en Italie et y fit construire la Villa Rufolo. Il y fit également agrandir le château de Walferdinck à Vaux sur Sûre en Belgique et le château de Chantilly, en France.
En 1879, il épousa Clothilde van Ostaeyen (née de Crayencour) avec qui il eut sept enfants. Il est considéré comme un des principaux mécènes de l'école impressionniste française et accueillit le peintre Camille Pissarro à Chantilly en 1896 pour qu'il peigne dans ses jardins.
Jean-Philippe Eugène de Mérode était également un important mécène des beaux-arts et fonda la Société des Amis des Beaux-Arts à Bruxelles en 1873, qui devint plus tard l'Académie Royale des Beaux-Arts. Il fut également le président de l'Institut de France de 1906 jusqu'à sa mort en 1923.
Il est enterré au cimetière du Père-Lachaise à Paris, près de la tombe de Charles Gounod. Son tombeau, conçu par le sculpteur Charles-Alphonse Gumery, représente une figure assise avec un masque de mort.