Popov a grandi dans une famille de paysans pauvres. Ses talents pour la mécanique et l'électricité ont été remarqués dès son enfance, ce qui lui a permis d'entrer à l'Université de Saint-Pétersbourg en 1876, où il étudiait les sciences naturelles.
En 1884, Popov termina ses études et commença à travailler au laboratoire de physique de l'université. L'année suivante, il fut affecté comme professeur d'électricité et de mécanique dans le collège de Podolsk.
En 1895, Popov construisit son premier récepteur radio qui était capable de détecter des signaux émis par une station télégraphique à Saint-Pétersbourg à 20 km de distance. Cela permit de prouver que la transmission de données sans fil était possible.
En 1897, Popov réussit à transmettre et recevoir des signaux à l'aide de deux stations distantes de plus de 14 km entre elles. Il publia également un article sur sa découverte, qui fut malheureusement rejeté par la revue scientifique russe.
En 1898, Popov fut nommé professeur à l'université technique de Saint-Pétersbourg et continua ses expérimentations pour améliorer son récepteur radio. Cependant, il fut dépassé par les progrès technologiques dans le domaine de la télégraphie sans fil en Europe occidentale.
En 1905, Popov décéda à l'âge de 46 ans. Il fut enterré au cimetière de la Présentation de la Vierge à Moscou. Sa dépouille fut transférée en 1936 à la crypte du mausolée des savants à Moscou.
Popov est considéré comme l'un des pionniers de l'électricité et de la télécommunication en Russie et son travail a joué un rôle important dans le développement de la radio, de la télévision et des communications sans fil actuelles.