Atiyah a obtenu une bourse de Rhodes pour étudier au Trinity College de Cambridge où il obtient son diplôme de premier cycle en 1950. Il reçoit ensuite une bourse de recherche Marshall qui lui permet d'aller à l'Université de Princeton pour poursuivre ses études supérieures.
En 1956, Atiyah retourne en Grande-Bretagne et prend un poste à l'Université de Manchester où il travaille avec Ian Kuiper. Ils développent ensemble la théorie des faisceaux cohérents qui aura une grande influence sur le développement de la topologie algébrique moderne.
En 1963, Atiyah est nommé professeur à l'Université d'Édimbourg où il travaille pendant près de cinquante ans. Il y développe la théorie des indices qui permet de calculer les valeurs propres des opérateurs différentiels sur des variétés differentiables compactes. Cette théorie est devenue une partie importante des mathématiques modernes et a été utilisée dans de nombreux domaines, notamment en physique théorique.
Atiyah reçoit de nombreuses récompenses pour ses travaux, dont la Médaille Fields, la plus prestigieuse récompense pour les mathématiciens, en 1966, et la Médaille Croucher en 1989. Il est également élu membre de la Royal Society en 1963 et reçoit le titre de Lord en 2005.
En dehors de sa carrière universitaire, Atiyah a été très impliqué dans les activités publiques. Il a servi comme président de l'Institute of Mathematics and its Applications (IMA) et a été membre du Conseil national des laboratoires de recherche du Royaume-Uni. Il était également un fervent défenseur des mathématiques et a écrit plusieurs livres populaires pour présenter la discipline à un public plus large.