Fue construido en 1440 siendo conocido también como Palacio de los Fermoselle al haber pertenecido a los señores de Fermoselle para pasar posteriormente a la propiedad del Barón de las Cuatro Torres. Esta circunstacia hace que el edificio sea conocido como Palacio de la Torre del Aire o de las Cuatro Torres. Durante las luchas nobiliarias fue usada por el Bando de Santo Tomé.
La torre es de airosa silueta italianizante, con bellos ajimeces con tracería gótica, del siglo XV.
En la actualidad es una residencia universitaria bajo la tutela de las monjas de la Inmaculada, en la Plaza de Santa Eulalia. No obstante en 1727 fue convertido en un hospicio para gente ociosa siendo en realidad una fábrica de paños.