A principios del siglo XIX, la Mansión fue propiedad de Fray Valarezo, quien hizo construirla en medio de dos conventos franciscanos; esta, ocultaba pasadizos subterráneos con muros de piedra y dinteles re utilizados de la época de la colonia, estos secretos pasadizos conectaban los conventos por debajo de las calles de la ciudad. Se cuenta que este, fue un lugar de reuniones y encuentros clandestinos de las máximas autoridades de la iglesia, donde se tomaron decisiones importantes del gobierno local. También una parte de las cuevas se destinaron como bodegas de las riquezas del potentado Fray; una de las más preciadas fue su enorme cava de vinos españoles que reposaban en grandes barriles de roble; parte de la cava fue rescatada y actualmente se la puede contemplar integrada en el bar.