David a grandi à Edgemere, un quartier de Brooklyn, et a étudié le théâtre au State University of New York at Oswego. Après avoir travaillé comme scénariste pour diverses émissions de télévision, il a rejoint l'équipe de *Saturday Night Live* en 1984. C'est à partir de cette expérience qu'il a rencontré Jerry Seinfeld et les deux hommes ont créé la série *Seinfeld*, dont David était le producteur exécutif et un des scénaristes principaux.
Larry David est connu pour sa personnalité complexe, souvent décrite comme étant difficile à travailler avec en raison de son insistance sur les détails et la perfection de chaque épisode de *Seinfeld* et de *Curb Your Enthusiasm*. Il a également été comparé à son personnage fictif, le personnage principal de *C'est moi le chef*, qui est également connu pour sa rigueur et ses problèmes avec la communication.
En plus de sa carrière dans la télévision, David a également écrit des scénarios pour le cinéma, notamment pour les films *Le Retour des Baksaalis* (1987) et *Sensations extraordinaires* (1990), ainsi que pour le film *The Comebacks* (2007). Il a également joué dans plusieurs films, dont *La Grande Évasion de New York* (1995), *Entre nous, les femmes ont une odeur de poulet* (2004) et *Clear History* (2013).
David a reçu de nombreuses récompenses pour son travail, notamment 17 Primetime Emmy Awards, 2 Golden Globes et un Mark Twain Prize for American Humor. Il est également membre du College of Fellows of the American Theatre. En dépit de sa carrière prolifique, David reste relativement éloigné des médias et ne fait pas d'apparitions publiques fréquentes.