Pasarét őskori történetéről régészeti emlékek hiányában semmit sem tudni, de valószínűsíthető, hogy az ingoványos völgy az őskori ember és állatvilág számára lakhatatlan volt. Az i. sz. III.- IV. századi római kori villa rustica temetőjének leletanyaga is a magasabban fekvő Zsírdombon, a mai Vasas sportcentrum területéről került elő 1863-ban.
A honfoglalás kori magyarság is a nyéki és a Ferenc-halmi dombokra települt, legelőnek, kaszálónak hagyva meg azÖrdög-árok völgyét.
A pasaréti kertes, nyaraló és villaövezet kiépülése a Házmán utca 1900-as évekbeli kialakításával és a Pasaréti, Hidegkúti út villáinak megépülésével kezdődött (például a Hűvösvölgyi út 85. alatti Márkus Emília, és a 87. alatti Herczeg Ferenc villák 1912-ben épültek).
Az első világháború után az 1920-as, 1930-as években eklektikus és Bauhausstílusú házakkal új utcák keletkeztek. A Pasaréti és a Ditró utca kereszteződésében épült a második legnagyobb hazai filmgyár, a Star, amiben az 1990-es évek elejéig a Mafilm szinkronstúdiói voltak. A Ditró utca másik oldalán a Pénzügyi Tisztviselők Budagyöngye SC sportlétesítményei - 1950-től a Pénzügyőr SE. labdarúgópályája – kaptak helyet. Az 1930-óta közlekedő – Pasaréti téri végállomású - 5-ös busz a főváros egyik legrégibb autóbuszjárata.
Pasarét a két világháború között épült be teljesen. Ekkor (1931) épültek a késői Bauhaus stílusú Napraforgó utcai villatelep házai, a Lukóy-villa a Battai lépcső 12/a alatt, a Pasaréti téri (1937) autóbusz-végállomás a római katolikus templommal és rendházzal, a Torockó téri református templom, továbbá a Pasaréti út, Szilágyi Erzsébet fasor, Hűvösvölgyi út és a keresztutcák lakóházai.