A Kossuth Lajos utca elején, a Dreher-palota helyén korábban a régi Pest legszebb magánháza a Grassalkovich-palota állt az 1700-as évek közepétől. Az épület Mária Terézia korában élte fénykorát, azután váltották egymást bérlői, és gyakran változott funkciója is. A házat 1887-ben kezdték bontani a mai Városház utca szélesítési tervei miatt. Helyén épült 1889-ben egy óriási eklektikus bérház ifjabb Dreher Antal sörgyáros megbízásából. Akkor még az utca többi házával egy síkban lévő homlokzattal. Négy évv el később azonban – az Eskü-téri híd tervezésével összefüggésben keletkezett szabályozási törvény – a mai Kossuth Lajos utcát szélesítve, a házak frontvonalát öt méterrel hátrébb rendelte. A kisebb házakat átépítették, azonban az új, gyönyörű, és drága pénzen megépített palota még hat évig „belógott” a szabályozási vonalba. Felmerült lebontásának, sőt eltolásának terve is, de végül az utcai traktus lebontása, és az új homlokzat hátrébb való felépítése mellett döntöttek. Eltolásra egyedül az épület ma már nem létező sarokkupolája került a 4. emelet födémjén.