Siemens est né à Lenthe, en Prusse-Orientale (aujourd'hui en Allemagne). Ses parents étaient Ernst Wilhelm Siemens, pasteur luthérien, et Dorothee Henriette Müller. Il était le plus jeune de six enfants.
Après avoir quitté l'école primaire à l'âge de treize ans pour travailler sur la ferme familiale, il apprit rapidement des compétences scientifiques et technologiques auto-didactes grâce à ses lectures persévérantes. À 17 ans, il partit à Berlin pour travailler comme ingénieur dans le laboratoire de Georg Heinrich von Raumer.
En 1847, il s'installa à London où il devint assistant du professeur William Sturgeon et y fit des découvertes importantes dans la construction de moteurs électriques. L'année suivante, il retourna en Allemagne pour travailler sur le télégraphe électrique avec Werner von Siemens (son frère aîné).
En 1850, ils fondèrent la société "Siemens et Halske" à Berlin. En 1867, Carl Wilhelm créa sa propre société appelée "Carl Wilhelm Siemens", qui s'est rapidement développée pour devenir une entreprise majeure dans le domaine de l'électrotechnique en Allemagne et dans le monde entier.
En 1867, il breveta un moteur électrique qui fut utilisé dans les chemins de fer britanniques, et qui a été considéré comme une révolution pour la traction électrique des trains. De plus, Carl Wilhelm Siemens a contribué à la construction du premier réseau téléphonique en Allemagne et a joué un rôle crucial dans la mise au point de l'éclairage électrique public.
En 1879, il breveta une pile électrochimique qui porte son nom. Le même an, il reçut le titre de baron héréditaire prussien. Il a reçu de nombreux autres prix et distinctions pour sa contribution à la technologie électrique.
Carl Wilhelm Siemens est décédé à Berlin en 1883 à l'âge de 60 ans. Sa mort marqua la fin d'une période prospère pour son entreprise, car la gestion fut reprise par ses deux neveux, Arthur et William von Siemens, qui poursuivirent le développement de l'entreprise électrotechnique.