Né à Milledgeville en Géorgie, Gordon fut élevé dans une famille modeste mais bien éduquée. Avant la guerre civile, il exerça divers métiers, dont ceux de commis de banque et d'enseignant avant de devenir propriétaire de plantation. Il entra à l'Académie militaire de West Point en 1850 mais ne put pas y terminer ses études en raison de la guerre civile qui éclata en 1861.
Gordon rejoint alors les forces confédérées, où il sert comme aide de camp dans le corps des ingénieurs et est bientôt promu au grade de colonel. Il participe à plusieurs engagements importants, dont les batailles de Shiloh, Chickamauga, Resaca, Atlanta, et Nashville. En 1864, il fut promu brigadier général et mena ses troupes avec succès dans la campagne des Carolines.
Après la guerre civile, Gordon fut accusé d'avoir participé aux atrocités contre les noirs, mais n'a jamais été poursuivi ni jugé pour ces crimes. Il devint un leader important de la milice paramilitaire qui chercha à empêcher la Reconstruction et fit campagne en faveur de l'amnistie générale pour les anciens confédérés.
En 1868, Gordon entra en politique et fut élu au Sénat des États-Unis sous l'étiquette du parti démocrate. Il servit deux mandats successifs et était connu comme un orateur brillant et ardent défenseur des intérêts sudistiques. En 1880, il renonça à son siège au Sénat pour devenir le commandant général de la milice de Géorgie et en 1886, il fut élu gouverneur de l'État.
En 1896, Gordon devint le premier grand chef sudistique à soutenir le Parti républicain, alors dirigé par le président William McKinley, qui avait promis à ne pas interférer dans les affaires de l'État. Gordon fut récompensé en étant nommé ambassadeur des États-Unis en Grande-Bretagne en 1897 et y servit jusqu'à sa mort en janvier 1904.
Gordon est considéré comme un héros confédéré et un symbole du Sud qui a combattu pour ses convictions politiques tout au long de sa vie, même s'il a changé de parti à certains moments. Il a été inhumé avec les honneurs militaires à Milledgeville en Géorgie et est encore considéré comme un héros local.