Graham a grandi dans une famille modeste où il a appris à manipuler l'électronique en réparant des appareils électroménagers chez son père, un facteur de poste. En 1960, il a remporté le concours d'invention du comté de Buncombe (Caroline du Nord) et, deux ans plus tard, il s'est classé troisième au concours national d'inventions de la Westinghouse Electric Corporation.
Diplômé de l'université Duke en 1970 avec un Bachelor of Science en électrotechnique, Graham a poursuivi ses études à l'université Stanford et à l'université de Californie à Berkeley, où il a obtenu son doctorat en ingénierie électrique en 1982.
Après des études académiques, Graham s'est employé chez IBM pendant quinze ans, où il a développé et breveté la fonction de correction d'orthographe pour les claviers virtuels utilisés sur les téléphones portables. Son invention a révolutionné l'industrie des communications et a permis à de nombreuses personnes de communiquer plus efficacement avec une interface plus facile à utiliser.
En 1999, Graham a quitté IBM pour fonder Phonetic Arts, une entreprise de logiciels de synthèse vocale et de reconnaissance vocale. Il a également créé l'Institut de recherche linguistique phonétique à l'université de Californie à Berkeley en 1987.
Graham est membre de la National Academy of Engineering, de l'Association américaine pour l'avancement des sciences et de la Société royale d'ingénierie. En 2006, il a reçu le prix Turing, une récompense importante dans le domaine de l'informatique pour ses contributions à la recherche en ingénierie des communications.
En 2014, Graham est devenu l'un des trois premiers Américains à devenir citoyen d'honneur du Royaume-Uni. Il est également membre de l'Ordre du Mérite britannique et a reçu plusieurs autres distinctions nationales et internationales pour son travail dans les domaines de la science, de la technologie et de l'ingénierie.