Fils d'un riche planteur, il a été éduqué dans une famille pro-esclavagiste et a fait ses études à la Yale University. En 1836, il a été admis au barreau de Caroline du Sud. Cependant, après avoir lu des ouvrages abolitionnistes tels que ceux d'Harriet Beecher Stowe, il a décidé de rejoindre le mouvement abolitionniste.
En 1839, Grimké s'est installé à Boston et a commencé à s'impliquer dans la lutte contre l'esclavage. Il a également répondu à une invitation de Sarah Grimké pour organiser des conférences publiques sur les droits civiques des femmes. En 1845, il a été admis au barreau de New York et a déménagé définitivement dans cette ville.
En 1846, Grimké a été élu député de l'État de Caroline du Sud à la Chambre des représentants des États-Unis, mais il ne s'est pas présenté pour un second mandat en 1848. En 1850, il a été l'un des organisateurs du "New York State Antislavery Society".
Durant la guerre civile américaine, Grimké s'est engagé dans une série de luttes juridiques contre les esclaves réfugiés fuyant le Sud. En 1863, il a été nommé par Abraham Lincoln au poste de procureur général provisoire du territoire du Colorado.
En plus de son activisme politique et abolitionniste, Grimké est également connu pour son engagement en faveur des droits civiques des femmes. En 1850, il a soutenu le droit des femmes à voter aux élections municipales de New York City. En 1869, il a été l'un des fondateurs du National Woman Suffrage Association (Société nationale pour le suffrage des femmes) et en est devenu le vice-président.
François James Grimké est décédé à New York City en 1873. Son travail a continué d'influencer les mouvements abolitionnistes et féministes américains au cours du XIXe siècle. Il est considéré comme un des pères fondateurs du mouvement pour la justice sociale aux États-Unis.