Né James Charles Black, Jr., il a grandi à Tijeras, au Nouveau-Mexique. Sa carrière musicale a débuté en 1957 lorsqu'il a rejoint la marine américaine, où il a joué dans une formation militaire. Après son service militaire, Black a rejoint le groupe de rock and roll The Penguins puis a joué avec plusieurs groupes de rock and roll à El Paso avant d'être recruté par Zappa en 1965 pour être le batteur et un chanteur dans le nouveau projet musical de Zappa, The Mothers of Invention.
Avec The Mothers of Invention, Black a participé aux enregistrements des albums *Freak Out!*, *Absolutely Free*, *We're Only in It for the Money*, *Cruising with Ruben & the Jets* et *Uncle Meat*. Il a également joué dans plusieurs films de Zappa, tels que *200 Motels* et *The Mothers Rehearse*. En plus de sa contribution à la batterie et de son chant, Black est connu pour avoir inventé le chant des "Mother's of Invention" caractérisé par une prononciation spéciale des mots.
En 1968, après que plusieurs membres du groupe ont quitté The Mothers of Invention, Black a fondé un nouveau projet appelé "The Grandmothers". En plus de jouer dans divers groupes et de participer à des projets de musique solo, Black a également travaillé comme ingénieur du son pour divers artistes.
En 1993, Zappa a invité Jimmy Carl Black à rejoint le groupe reunifié des Mothers of Invention pour une tournée mondiale qui a été documentée dans l'album *Broadway the Hard Way*. Après la mort de Zappa en 1993, Black a continué à jouer avec divers groupes et a participé à des projets musicaux tels que le "Zappa Plays Zappa" de son fils Dweezil.
Jimmy Carl Black est mort d'une crise cardiaque en 2008 à l'âge de 70 ans. Il a laissé une épouse et deux enfants. Son travail avec The Mothers of Invention et Frank Zappa lui assure une place importante dans l'histoire de la musique rock progressif.