Según narra la tradición, estando un pastor cuidando su ganado en este monte, pidió a la Virgen ayuda para calmar su sed, a lo que ésta respondió haciendo manar una milagrosa fuente (La Fuente Santa) de asombrosos poderes curativos, a la vez que le transmitió al pastor el siguiente mensaje:
«Marcha Pastor humilde al lugar de Pereña y di a sus devotos moradores, cómo en el cubo del medio del Castillo hai un retrato mío, que lo dexaron los christianos quando salieron oprimidos del rigor de los tiranos, y que es mi voluntad, que se coloque en medio de la plaza, que hace aquel elevado cerro, pues, es el sitio, donde estuvo antiguamente el templo, en donde me tributaron adoraciones»
El pueblo de Pereña de la Ribera encontró, quinientos años antes, en una pequeña cueva bajo el cubo del castillo, la imagen de Nuestra Señora del Castillo, que había sido escondida durante el asedio de los árabes a Pereña en el siglo VIII. Junto a ella se encontraron dos hachas encendidas y una pica blanca y hermosa a sus pies. Siglos después, construyéndose la actual ermita, el día 14 de mayo de 1721, se rompió la piedra blanca encontrada junto a la Virgen apareciendo en sus entrañas una perfecta y hermosa imagen de la Virgen del Castillo.
La veneración a Nuestra Señora del Castillo y la difusión de sus milagros hacen que esta Ermita se convierta en un gran centro de peregrinación Mariana, celebrándose una multitudinaria romería cada 14 de mayo, para manifestar la gran devoción que se tiene a la Virgen del Castillo.
La Casa del Ermitaño se construyó en 1722 con la ayuda de los vecinos de la población, limosnas y ofrendas a la Virgen. El ella vivía el ermitaño, encargado de mantener la ermita y tener siempre encendida una lámpara de aceite.
