Perkins a commencé sa carrière en tant qu'ingénieur à General Electric avant de s'intéresser à la technologie informatique et de devenir entrepreneur avec ses propres startups. En 1972, il cofonde Electronic Memories (EMCORE), une société de fabrication de diodes électroluminescentes, qui connaît un grand succès.
En 1984, Perkins cofonde Kleiner Perkins Caufield & Byers, un fonds d'investissement en capital-risque situé à Menlo Park (Californie). Le fonds est considéré comme l'un des plus réussis de son époque et a investi dans de nombreuses startups qui ont connu une croissance rapide, notamment Amazon, Genentech, Sun Microsystems, Compaq Computer Corporation et Netscape Communications.
En plus de ses activités d'investisseur, Perkins est également un philanthrope actif. Il a fondé la Perkins Foundation, une organisation à but non lucratif qui soutient des projets de développement international et des organisations caritatives aux États-Unis.
Thomas J. Perkins est également connu pour ses positions politiques. En 2013, il déclare dans un entretien que les démocrates américains sont "sans doute le plus grand ennemi que nous ait rencontré la société américaine" et qu'ils posent une menace sur les libertés civiles. Cette déclaration provoque une polémique nationale, et Perkins doit finalement se rétracter et s'excuser.
Au cours de sa carrière, Thomas J. Perkins a reçu de nombreux prix et reconnaissances pour son travail d'entrepreneur et d'investisseur. Il est également membre du National Academy of Engineering et a été intronisé au Silicon Valley Engineering and Entrepreneurship Hall of Fame.