Il est né à Brooklyn, New York et a grandi dans le Bronx. Il a obtenu son BSc en sciences chimiques de l'Université Cornell en 1945, puis son doctorat de la même université en 1948. Sa thèse portait sur les réactions de sulfuration des alcènes et des alcynes.
En 1948, il rejoint le département de chimie de l'Université Columbia, où il travaille pendant toute sa carrière académique jusqu'à sa retraite en 1996. Il a été membre du corps professoral à temps plein et a occupé plusieurs postes de direction au sein de la faculté de sciences chimiques, notamment celui de doyen.
Sweet est particulièrement connu pour son travail sur les hétérocyclites aromatiques. Il a découvert une classe de composés appelée "sweet bases" en 1956 et a également travaillé sur la photocyclisation des hétérocyclites, l'hydrophénalenation des hétérocyclites et les réactions de cycloaddition.
En reconnaissance de ses contributions à la chimie, Sweet a reçu de nombreuses distinctions tout au long de sa carrière, dont le Prix ACS en chimie organique en 1963, le Prix Willard Gibbs en 1972 et le Prix national de la science en 1980. Il a également été élu membre de l'Académie nationale des sciences et de la Société américaine de chimie (ACS).
En dehors de sa carrière académique, Sweet est également connu pour son activisme dans le domaine de la recherche sur la santé. Il a servi à plusieurs reprises comme expert consultatif du Congrès des États-Unis et a été membre du Comité national pour la recherche sur la santé (NRC) de 1974 à 1985.
En 2005, Sweet a été décerné le prix de l'Institut international de chimie solvay pour sa contribution exceptionnelle à l'avancement de la chimie et pour sa contribution remarquable à la société et aux sciences. Il est mort en 2007 à l'âge de 81 ans.