Chambers est né à Pittsburgh en Pennsylvanie et a étudié au lycée Central Catholic et à l'Université West Virginia où il obtient un baccalauréat en génie industriel et mathématiques appliquées. Il a ensuite rejoint la société Burroughs Corporation avant de rejoindre Wang Laboratories où il occupe des postes de responsabilités croissantes, dont celui de vice-président pour les technologies de communication.
En 1990, Chambers rejoint Cisco Systems qui vient de sortir sur le marché. Il prend rapidement une part importante au sein de l'entreprise et en 1995, il devient président-directeur général et directeur exécutif. Sous sa direction, la société connaît un développement considérable avec notamment l'invention du routage IP (Internet Protocol), qui permet de transférer les données sur Internet.
En 2015, Chambers annonce son départ de la présidence de Cisco Systems mais continue à occuper le poste de président exécutif et directeur stratégique. Il se retire officiellement en 2020.
Chambers a également été actif dans d'autres domaines tels que les relations internationales et la politique. Il est par exemple membre du Conseil National de l'économie américaine, il a tenu des conférences à l'Université Stanford et il a soutenu la candidature de Mitt Romney pour le poste de président des États-Unis en 2012.
En 2017, il annonce sa participation au conseil d'administration de la société américaine Blackstone Group, leader mondial du capital investi dans les infrastructures, et il est également membre du conseil consultatif d'Amazon Web Services (AWS). Il a également créé un fonds d'investissement appelé "J-Cube Capital".
En 2019, Chambers rejoint le conseil d'administration de la société française Atos.