Il apprend le sitar auprès de son père, Hafiz Ali Khan, et de son oncle, Baba Allauddin Khan. Amjad Ali Khan a commencé sa carrière musicale professionnelle en 1956 à l'âge de 11 ans lorsqu'il a participé au Festival de Musique de Bombay (aujourd'hui connu sous le nom de Mumbai) avec ses oncles Baba Allauddin et Ali Akbar Khan, célèbres maîtres du sitar.
En 1958, il a remporté la première place lors d'un concours national organisé par l'All India Radio. Pendant les années suivantes, il s'est produit sur scène avec de nombreux artistes classiques renommés tels que Ustad Bismillah Khan et Pandit Ravi Shankar.
Amjad Ali Khan a représenté l'Inde lors de plusieurs tournées internationales et a joué devant les plus grandes figures mondiales, notamment le roi George VI du Royaume-Uni, John F. Kennedy et le roi Saoud d'Arabie saoudite. Il a également enregistré des albums avec des musiciens tels que Yehudi Menuhin et Zubin Mehta.
En 1987, il a reçu la Padma Bhushan, un des plus hauts prix civils du gouvernement indien. En 2001, il a été décoré de l'ordre national de la Légion d'honneur par le président français Jacques Chirac pour sa contribution significative à la musique mondiale.
En outre, Amjad Ali Khan est connu pour son engagement en faveur des droits des femmes et des enfants dans les communautés rurales indiennes. Il a également fondé l'Amjad Ali Khan Foundation pour promouvoir la culture classique et la musique traditionnelle en Inde.
Ensemble avec son fils, Amaan Ali Khan, et son neveu, Ayaan Ali Khan, il forme un trio de sitar connue sous le nom de Surmangal. Ils ont sorti plusieurs albums ensemble, dont des compositions originales, ainsi que des reprises d'œuvres classiques.
En 2019, Amjad Ali Khan a été récompensé pour sa carrière exceptionnelle avec un doctorat honorifique par l'Université de Mumbai et la Faculté de Musique du Benaras Hindu University. Il continue à jouer et à enregistrer des albums à travers le monde, ainsi qu'à apprendre les jeunes générations à apprécier la musique classique indienne.