Michel Arrouy a grandi dans une famille juive et a été élevé en Israël pendant la guerre d'Algérie. Après son retour en France, il a étudié à l'École supérieure de commerce de Paris (ESCP) et a commencé sa carrière chez Citroën. En 1973, il cofonde avec Claude Delahaye la société de distribution automobile Delahaye-Arrouy, qui devient ultérieurement une importante entreprise de distribution pour diverses marques automobiles dans le monde entier.
En parallèle à sa carrière d'entrepreneur, Michel Arrouy s'intéresse à l'art contemporain et commence à collectionner des œuvres à partir des années 1970. Sa collection privée est considérée comme l'une des plus importantes au monde en matière de peinture et de sculpture moderne et contemporaine, comprenant des œuvres d'artistes tels que Yves Klein, Frank Stella, Ellsworth Kelly, Donald Judd, Richard Serra, Cy Twombly, Dan Flavin, Sol LeWitt, Brice Marden, Agnes Martin, Robert Ryman et Dan Graham.
En 2013, Michel Arrouy ouvre un musée consacré à l'art moderne et contemporain dans le quartier du Marais à Paris, le Musée d'Art Moderne de la Ville de Paris (MAMVP), qui regroupe une partie importante de sa collection privée. Le MAMVP est considéré comme le premier musée entièrement consacré à l'art moderne et contemporain à être fondé dans un quartier populaire et non dans les quartiers traditionnels de la capitale française.
En 2017, Michel Arrouy vend une partie importante de sa collection privée aux enchères à Christie's pour près de 40 millions d'euros. Le montant des ventes a été utilisé pour soutenir le MAMVP et son programme d'expositions temporaires.
Michel Arrouy est considéré comme un des grands collectionneurs privés d'art moderne et contemporain français et son influence sur la scène artistique française est importante. Il continue à être actif dans les domaines de l'entreprise et du mécénat à Paris.