Fox a commencé sa carrière dans le football universitaire comme entraîneur défensif, travaillant pour diverses écoles telles que l'Université de Stanford, l'Université Duke et l'Université de San Diego. En 1982, il a été engagé en tant qu'entraîneur défensif des Redskins de Washington, où il a travaillé pendant deux saisons avant d'être promu entraîneur principal en 1985.
En 1989, Fox a rejoint les Dolphins de Miami en tant qu'entraîneur défensif, et en 1992, il est devenu entraîneur adjoint de l'attaque avec les Cowboys de Dallas. En 1995, il a été nommé entraîneur principal des Tampa Bay Buccaneers, mais n'a pas réussi à remporter qu'un seul match pendant sa première saison.
En 1998, Fox a pris la direction de l'équipe de football américain universitaire de l'Université d'Illinois. Il a mené l'équipe en poste-saison pour la première fois depuis 1984 et a amélioré le palmarès général de l'université.
En 2002, Fox est retourné dans la NFL en tant qu'entraîneur principal des Carolina Panthers. Il a mené l'équipe à son premier Super Bowl en 2003 et est devenu célèbre pour sa stratégie de jeu défensif "Carolina Blitz" qui a été utilisée lors d'un grand nombre de victoires de son équipe. Fox a quitté les Panthers en 2010 et a rejoint les Chicago Bears, où il a passé deux saisons avant de prendre sa retraite en tant qu'entraîneur principal en 2015.
Au total, John Fox a un palmarès de 143 victoires contre 119 défaites en carrière, et a mené ses équipes à cinq post-saisons NFL, ainsi que à un Super Bowl. Il est réputé pour son leadership et sa capacité à améliorer les performances des équipes qu'il dirige.