John McVie est né le 26 juin 1945 à London en Angleterre. Il a grandi dans une famille de musiciens qui jouaient dans des clubs de jazz. Son père était le batteur Jay McShann, et sa mère était la chanteuse et pianiste Mary Mae McVie. John commença à jouer de la guitare à l'âge de 14 ans avant de se concentrer sur la basse après avoir vu John Entwistle de The Who dans un concert en 1963.
John a formé le groupe Fleetwood Mac avec Mick Fleetwood, Peter Green et Jeremy Spencer en 1967. Ils ont pris leur nom de deux boîtes à cigarette Blue Mood Fender du batteur Fleetwood et des guitares de basse de John McVie. Le groupe a connu un succès grandissant au Royaume-Uni grâce à leurs talents instrumentaux, ainsi qu'à la puissante voix de Christine McVie, qui rejoint le groupe en 1970.
En 1975, John McVie épouse Christine Perry, une membre du groupe Vintage Years et la mère biologique de leur fille, Kelly.
Fleetwood Mac a connu un succès extraordinaire aux États-Unis grâce à l'album *Rumours*, publié en 1977, qui est devenu l'un des albums les plus vendus de tous les temps avec plus de 40 millions d'exemplaires écoulés dans le monde.
John McVie a continué à jouer avec Fleetwood Mac jusqu'en 1995. Il s'est retiré du groupe temporairement avant de revenir en 2003. Il continue à jouer avec le groupe à l'occasion, notamment lors des tournées et des concerts.
John McVie a été intronisé au Rock and Roll Hall of Fame en 1998 avec Fleetwood Mac. En 2021, il a reçu le titre de membre honoraire de la Royal Academy of Music à Londres.
John McVie est considéré comme l'un des bassistes les plus influents et les plus importants de l'histoire de la musique populaire. Sa basse rythmique et son sens du groove ont contribué à la signature unique de Fleetwood Mac, et il a laissé un héritage durable dans le rock britannique des années 1960 et 1970.