Fils de Marcus Julius Philippus, sénateur romain, et d'une mère asiatique, Philippe passa son enfance à Rome où il reçut une excellente éducation classique. Bien qu'il soit né Romain, Philippe conserva des liens forts avec l'Orient.
Vers 58 av. J.-C., il fut envoyé par Pompée dans les provinces orientales romaines pour servir comme préteur. En 48 av. J.-C., il rejoint en Grèce le camp de Brutus et Cassius, mais l'annonce de la mort de Cesar conduit Philippe à rejoindre au printemps suivant Antoine et Octavien, les futurs Auguste.
Antoine remporta une série de victoires militaires dans les années qui suivirent, et Philippe l'Arabe joua un rôle clé en tant que commandant d'armée dans ces victoires. En 36 av. J.-C., Philippe fut nommé gouverneur de la Syrie, un poste qu'il conservera jusqu'à sa mort.
Bien que Philippe ait été allié à Antoine, il ne partageait pas ses vues politiques et religieuses radicales. En 40 av. J.-C., Philippe envoya des troupes contre Antoine lors de la bataille d'Actium, une décision qui conduisit à la défaite d'Antoine et à la conquête totale de l'Empire romain par Octavien.
Philippe se retira ensuite dans sa province de Syrie, où il gouverna avec une grande sévérité et éloquence. Il fit des progrès considérables dans l'amélioration de l'infrastructure de la Syrie et les améliorations qu'il a apportées à la ville de Séleucie-sur-le-Tigris, dont il fut le fondateur, sont encore visibles aujourd'hui.
Mort en 4 av. J.-C., Philippe fut inhumé dans l'ancienne capitale grecque d'Antioche. Il laisse derrière lui une réputation de dirigeant compétent et efficace, ainsi qu'un héritage culturel important qui a marqué durablement l'Orient romain.