Après des études à l'université du Tennessee, il obtient son premier rôle important en 1975 lorsqu'il joue le personnage principal dans la série télévisée *The Jim Stafford Show*. Il interprète également des chansons comiques et parodiques sous le nom de scène de Jimbo Yarbrough.
En 1980, il joue un personnage récurrent dans la série télévisée *Hee Haw* (également connue en français comme *C'est mon pays*, *Mon pays* ou encore *Le Grand P'tit Pays*). Il continue à apparaître dans des séries télévisées telles que *La Loi de Maverick*, *Les Dessous de Palm Beach*, *The Dukes of Hazzard* et bien d'autres.
En 1982, il participe aux côtés de Johnny Cash à un concert du Grand Ole Opry pour soutenir les victimes des inondations du Tennessee. Il est également apparu sur scène avec plusieurs autres artistes tels que Waylon Jennings, Mel Tillis et George Jones.
En 1985, il joue le rôle de Floyd dans la série télévisée *Alice*, remplacement du personnage original par Loretta Swit qui avait quitté la série l'année précédente. Il a continué à jouer ce personnage jusqu'à la fin de la série en 1985.
Il a également fait une apparition dans la série *La Famille Torkleson* en 1987. Plus tard, il a interprété des rôles récurrents dans les séries télévisées *Mary Hartman, Mary Hartman* et *Beverly Hills, 90210*.
En 1995, il apparaît pour la première fois dans le film *Waterworld*, interprétant un personnage appelé "le docteur". Il a ensuite joué dans des films tels que *Psycho III* (1986), *Les Dessous de Palm Beach* (1992) et *Savage Hearts* (1994).
Il s'est également produit comme chanteur en tournée avec des groupes comme The Nitty Gritty Dirt Band, The Statler Brothers et George Jones. Il a également sorti plusieurs albums musicaux à travers les années.
Jimmy Yarbrough est décédé le 16 février 2019 à Burbank en Californie, à l'âge de 71 ans.