Sa carrière musicale a commencé dans les années 1960, à Detroit, où il a joué avec plusieurs groupes de garage rock, notamment The Rokets, The Spinners et The Miracles. Il est alors connu sous le nom de "Rockin' Rafe Rodriguez".
En 1967, il a quitté les États-Unis pour s'installer au Canada, où il a signé avec le label Motown en 1968 et a commencé à enregistrer des chansons sous le nom de "Rodriguez". Son premier album, "Rodriguez", est sorti la même année.
Cependant, malgré son talent remarquable, Rodriguez n'a connu que peu de succès commercial aux États-Unis, avec des ventes modestes de ses disques et une courte carrière sur scène. Cela s'explique en partie par le fait qu'il est souvent comparé à Bob Dylan, qui était très populaire à l'époque.
C'est en 1970 que sa carrière a connu un tournant important : il a été découvert par les fans de musique rock au Sud-Afrique et au Canada. Les ventes de ses albums ont explosé et il est devenu une icône de la contre-culture des années 1970 dans ces pays.
En 1971, Rodriguez a sorti son deuxième album, "Coming from Reality", qui s'est également vendu bien en Afrique du Sud et au Canada, mais n'a pas connu de succès aux États-Unis. En 1972, il a sorti un troisième album, "Cold Fact", qui est encore considéré comme l'un de ses meilleurs travaux.
En 1978, Rodriguez a quitté la scène musicale pour travailler dans des mines à Ontario, au Canada. Il n'a repris sa carrière que plus tard, à la fin des années 1990, grâce à une campagne de recherche menée par deux étudiants sud-africains qui voulaient le faire revenir en Afrique du Sud pour un concert.
Rodriguez est connu pour son talent exceptionnel en tant que chanteur et guitariste, ainsi que pour ses paroles engagées et politiques. Il est considéré comme l'un des plus grands artistes de la scène rock détroïte, et continue à se produire sur scène et à sortir des disques jusqu'à aujourd'hui.