Babilafuente era ya por 1500 un municipio autónomo bajo la tutela del Conde de Monterrey. A más de las posesiones territoriales, que debían de ser muy extensas, a juzgar por las que han llegado a nuestros días, tenía el Señorío asiento en una casa-palacio (antiguo palacio de los Duques de Alba), de la que sólo se conserva el recuerdo y parte del solar.
Detrás quedaba aún un gran solar convertido en tierra de labor, acotado por tapial y espinos, llamado La Cortina, que ha subsistido hasta 1932, año en que fue graciosamente cedido al pueblo por el anterior Duque de Alba, Don Jacobo Stuart Fitz-James, abuelo del actual Duque, para la construcción de las nuevas escuelas.
Como reliquia del pasado, queda el arco que únia el palacio con la Iglesia, que daba acceso a una celosía sobre el lado de la actual Sacristía. Desde allí, los señores asistían a los cultos sin mezclarsecon el pueblo. Este pasadizo parece que finalizaba en la tribuna que se abría en la Costanera del Evangelio de la Capilla Mayor.
No hay indicios de quién mandó construir el palacio, ni si fue habitual o esporádicamente habitado. Sobre su posible utilización, existen varias referencias documentales:
- Se dice que la reina Doña Catalina; mujer de Enrique III y madre de Juan II, marchó a las Villorias huyendo de una epidemia mortífera que se cebaba en Salamanca, ciudad de que era señora. Con la denominación de Las Villorias era conocida toda la comarca y es muy posible que pudiera haber venido a Babilafuente, donde, además de un palacio, disponía de aguas medicinales.
- Por su parte, en 1453, el Príncipe Don Enrique, luego Enrique IV, ordenó al Concejo y Regimiento de la villa de Babilafuente el acogimiento de los hijos del Conde de Alba. Se sobreentiende que ello sería por existir alojamiento adecuado, tal como un palacio.
- Por último, cuando en 1543 el Príncipe de Asturias Don Felipe, más tarde Felipe II, se casa en Salamanca con Doña María de Portugal, dicen las crónicas del gran suceso que ese mismo día, lunes, partieron sus altezas de Salamanca y esa noche fueron a Las Villorias. Hoy sobrevive el enigma de a cuál de esas villas llegaron los recién casados, si bien la tradición dice que fue a Villoruela.
Más de dos siglos después, en febrero de 1788, grandes lluvias trajeron como consecuencia la corta cosecha de agosto. Tomó las oportunas medidas para remediarla situación el Intendente Corregidor Don José Miguelde Aranza. Los vecinos se alborotaron contra Mateo González, administrador de los Duques de Alba, y encendieron una hoguera para quemarlo vivo, cosa que al final no lograronpor haberse este puesto a salvo saltando la pared de una huerta. La enfurecida multitud optó por romper las puertas del palacio arrojando todoel mobiliario al fuego. Al final, los culpables fueron condenados a presidio.
El palacio, así desmantelado, sería pocos años después objeto de un incendio y la destrucción total que padeció el pueblo entero con motivo del paso de las tropas francesas en retirada tras la derrota de los Arapiles.
Durante el último tercio del siglo XIX, en su propio solar y con las mismas piedras, se construyeron las casas fronteras al Ayuntamiento que hoy existen.
