Rosas habitaba este lugar cuando no estaba en su casa de Bolívar y Moreno, que en ese momento era el centro de «La Gran Aldea».
Para esa época las familias más importantes de la elite porteña tenían sus residencias en la elegante «Calle Larga» de Barracas, pero el Gobernador prefería la soledad, al contacto con las familias adineradas de Buenos Aires.
En el año 1836, Rosas compró los terrenos donde realizaría la construcción de su casa, en uno de ellos se encontraba la Capilla de San Benito de Palermo y es por esta razón que muchas veces se menciona la casa del Brigadier con este nombre.
San Benito de Palermo era el santo de la población afro. Por lo tanto, no es extraño que se haya encontrado un muñeco vudú tras una excavación junto a uno de los lagos de Palermo, donde por muchos tiempo estuvo la capilla de San Benito de Palermo, como testigo y prueba de la presencia afro y afroargentina en la zona, así como de aspectos de su cultura comunes también a otras regiones de Latinoamérica.
Este sector había sido señalado por Garay para chacras hasta que en 1540 Juan Domínguez Palermo las unificó. Se extendían desde Retiro hasta Palermo, delimitadas por las calles Cabrera, Coronel Díaz, Avenida del Libertador, Tagle y Agüero.
Los suelos eran arcillosos y arenosos y la casa de Rosas se realizó con barro traído de lo que hoy conocemos como bajo Belgrano. Terminó de construirse en 1838, pero en el año 1843 se realiza la segunda ampliación, siendo su mentor el Maestro Miguel Cabrera. Realizándose con excelentes materiales, fue considerada la mejor casa en America.
La casa era un enorme edificio de una sola planta rectangular de 78m x 76m. El techo tenia azotea y barandas de hierro. Tenia salón de fiesta y la habitación de su hija Manuelita daba a la actual Av. Libertador.
l dormitorio de Rosas miraba al río. Su habitación tenia una cama de bronce, un armario en la pared, sobre la estufa un gran espejo. En el centro de la habitación su escritorio y dos chifoniers de caoba.
El salón de recibo estaba al oeste, y en él abundaban los espejos y los muebles de caoba.
En la parte sur había una capillita. Los pisos eran de baldosas y los cielos rasos de madera pintada de blanco, el alumbrado se hacia con lámparas de aceite.
En los amplios jardines y parques se podían ver avestruces, teros, gavilanes y pájaros de hermoso plumaje.
e arreglaron y rellenaron los intransitables caminos de entrada y los laterales cubriéndolos con conchillas blancas, llamado “macadón de conchillasâ€, que daba solidez y durabilidad.
Mediante la canalización de un arroyo que circulaba en línea recta hacia el Río de la Plata, se creé un estanque. Este será el primer lago artificial de la ciudad, de 100 varas de largo. De libre acceso, era una de las atracciones de Palermo.
Después de la caída de Rosas en la batalla de Caseros, el General Urquiza, a cargo del Gobierno de la Confederación, se instala en Palermo de San Benito.
La casa de Rosas tuvo, a partir de allá, diferentes usos: Colegio Militar entre 1870 y 1892, Escuela Naval, Regimiento 1 de Artillería, Tiro Federal y Cuarteles de la Guardia de Seguridad.
El 25 de junio de 1874, se promulga la ley que da origen al Parque Tres de Febrero, el cual fue inaugurado por Sarmiento el 11 de noviembre de 1875. El Presidente Roca ordena dinamitar la casa el 3 de febrero de 1899.
Se cree que los portones de entrada al parque eran los mismos que estaban en la casa de Rosas. Estos portones fueron demolidos en 1917.
Solo queda, como testigo, una de las puertas de acceso al parque, que se puede observar hoy delante del zoolígico de la ciudad de Buenos Aires.
En 1999 se erige un monumento ecuestre evocando a Juan Manuel de Rosas, obra del escultor Ricardo Dalla Lasta
