El edificio del Centro, cuyo origen se remonta al siglo XVII, es una de las construcciones más antiguas que se conservan en Buenos Aires. En 1716 el Solar fue donado a los frailes Franciscanos Recoletos. Los arquitectos jesuitas Juan Krauss y Juan Wolf realizaron los planos de la primera construcción y se le atribuye al italiano Andrés Blanqui la fachada y los espacios interiores del convento. La obra fue concluída en 1732.

A partir de las primeras décadas del siglo XIX el edificio tuvo varios destinos, entre ellos una escuela de dibujo creada por el Gral. Manuel Belgrano y, a partir de los años setenta funcionó en sus claustros el Asilo de Mendigos.El edificio y el área en general fueron lugares privilegiados dentro del plan de saneamiento y embellecimiento del primer Intendente de Buenos Aires, Torcuato de Alvear.

El arquitecto Juan Buschiazzo fue el responsable de la gran remodelación que se realizara a lo largo de la década del ochenta del siglo pasado, reciclaje que puede considerarse pionero y uno de los mejores de la ciudad de Buenos Aires. El mismo incluyó, en el Centro Cultural la construcción de varios pabellones, la capilla, hoy transformada en auditorio, como así también fachadas, muros y terrazas de estilo italianizante.

Posteriormente se instaló en el edificio el Hogar de Ancianos General Viamonte.En 1980 se remodeló el complejo para su nueva función de Centro Cultural, tarea encomendada a los arquitectos Clorindo Testa, Jacques Bedel y Luis Benedit.