Harper commence sa carrière en jouant de la guitare à l'âge de onze ans. À quatorze ans, il rejoint sa première formation, Infinity, qui comprend son frère Oliver à la basse et sa sœur Joanna à la batterie. En 1988, ils forment le groupe Flickerstick avec une amie, Ana Lenchantin. Le groupe publie trois albums avant de se séparer en 1995.
En parallèle, Ben Harper sort plusieurs albums solo à succès, notamment *Welcome to the Cruel World* (1994), *Fight for Your Mind* (1995) et *The Will to Live* (1997). En 1998, il rencontre la chanteuse et guitariste américaine Anastacia Scott, qui devient sa partenaire musicale. Ils forment ensemble le duo Ben Harper and the Innocent Criminals.
Leur premier album en commun, *Burn to Shine* (1999), est un énorme succès commercial et critique. Les albums suivants *There Will Be Sun* (2001) et *Diamonds on the Inside* (2003) sont également très bien accueillis par la critique. Ben Harper et Anastacia Scott se séparent en 2006, mais continuent de collaborer occasionnellement jusqu'en 2009.
En 2005, Ben Harper sort l'album *Jason Mraz and Ben Harper Sing Love Songs*, qui est un projet commun avec Jason Mraz. En 2011, il publie son album solo *Give Till It's Gone*. Depuis, il continue à enregistrer et à jouer régulièrement en concert, tant sous son nom qu'avec le duo Ben Harper and the Innocent Criminals.
Ben Harper est considéré comme l'un des grands chanteurs de blues contemporain, notamment grâce à son jeu de guitare et sa voix empreinte d'émotion. Il a également participé à plusieurs actions caritatives et engagements sociaux, notamment pour défendre les droits humains, lutter contre la pauvreté et aider les victimes du tsunami de 2004.