McCarey a commencé sa carrière au début du XXe siècle en tant que scénariste pour diverses sociétés de production, notamment la Fox Film Corporation et Paramount Pictures. Il a également travaillé comme acteur et comédien dans des productions telles que *The Passing Show of 1923* (1923) et *The Patent Leather Kid* (1927).
En 1930, McCarey a réalisé son premier film en tant que réalisateur, *Duck Soup*, une comédie satirique politique avec les Marx Brothers. Ce film est devenu un classique et a solidement établi la réputation de McCarey comme un talent en vue.
Par la suite, McCarey a réalisé plusieurs autres films notables, tels que *La Vie privée d'Henry VIII* (1933), qui a été nominé pour l'Oscar du meilleur film, *Un grand amour de femme* (1934) avec Claudette Colbert et Clark Gable, *Juge Priest* (1934) avec Will Rogers, *L'Enfant prodigue* (1936), *La Joyeuse Parade* (1948) et *An American in Paris* (1951).
McCarey a été nominé pour six Oscars du meilleur réalisateur, et a remporté l'Oscar pour son travail sur le film *Going My Way* (1944), avec Bing Crosby dans le rôle d'un prêtre catholique. Le film a également reçu l'Oscar du meilleur film.
En plus de ses réalisations cinématographiques, McCarey est connu pour son travail humanitaire et sa contribution au développement de la communauté juive à Los Angeles. Il était très actif dans diverses organisations juives et a reçu plusieurs récompenses en reconnaissance de son engagement.
McCarey est décédé le 26 avril 1955 à Los Angeles, à l'âge de 57 ans, des suites d'un cancer du foie. Il a laissé derrière lui une légende cinématographique et une influence profonde sur la manière dont les films sont réalisés aujourd'hui.