El linaje de Torres es uno de los más antiguos de la villa, tenía el privilegio de conducir el pendón militar "Torres de Castilla" con cargo de alférez mayor.
La antigua Casa Palacio de los Torres, se encuentra en la Calle Isabel I de Castilla (antigua calle de Baldosería). Es un edificio del siglo XVI, en cuya portada aparece el escudo en alabastro de la familia, consta de cinco torres de oro, cuatro pareadas y una central.
El caserón tiene una portada central de grueso baquetón curvilíneo, con frontón superior muy apuntado, con decoración de bolas enmarcando el escudo. En la planta superior tiene dos balcones y dos ventanas con rejería típica conquense.
A unos 200 metros, en la misma calle aparece de nuevo un escudo de esta misma familia.
Al comienzo de la calle de Baldosería se encontraba el Hospital de Redención de cautivos, en las casas lindantes a las de los Torres. El concejo de Uclés fundó en 1227 este hospital con un fin espiritual: “al servicio de Dios y a la salvación de sus almas y las de sus parientes”. Allí se guardaban los moros prisioneros hasta ser canjeados por cristianos, después de ocuparlos en faenas de campo y huertas, la cofradía que regía este hospital recibió por esto el nombre de “cofradía de hortelanos”.