Après des études à l'université d'Indiana à Bloomington, James Whitmore a commencé sa carrière sur scène avant de rejoindre l'armée en 1943 pour servir pendant trois ans en tant qu'officier radio opérateur. À son retour, il s'est tourné vers le cinéma et le théâtre.
En 1952, James Whitmore a gagné un Tony Award pour sa performance dans la pièce "Will Success Spoil Rock Hunter?" sur Broadway. Il a continué à se produire sur scène tout au long de sa carrière et a même réalisé une pièce à son nom en 1973.
En plus d'être acteur, James Whitmore a également réalisé et produit des films. Il a dirigé "The Shooting" (1966) et "Welcome Home, Brother Charles" (1984). Il a produit plusieurs films, dont "Birdman of Alcatraz" (1962) et "The Longest Day" (1962), pour lequel il a également joué.
James Whitmore est connu pour son interprétation de l'officier D-Day du capitaine John H. Miller dans "The Green Berets" (1968). Il a reçu deux nominations à l'Oscar pour le meilleur acteur dans un second rôle pour ses rôles dans "Give 'em Hell, Harry!" (1975) et "Breach of Trust" (1984).
En 2006, James Whitmore a reçu la médaille nationale des arts des États-Unis pour sa contribution exceptionnelle à l'art américain. Il a également été intronisé au Theatre Hall of Fame en 1973 et au American Film Institute's Life Achievement Award en 2005.
James Whitmore a continué à se produire sur scène et à travailler jusqu'à sa mort le 6 juin 2009 à Santa Monica, Californie, à l'âge de 87 ans. Il est resté une figure populaire du cinéma américain et son héritage a continué à être célébré par les fans et la critique.