Se cree que originalmente fue construida sobre un antiguo templo romano del que se conservan las bases. Esta idea se basa en que se encontraron algunas tejas romanas en el suelo de la ermita; además la antigua alcantarilla del arroyo de la cerilla podría haber sido construida por los romanos.
En 1675 existía ya la ermita con una sacristía a la derecha dentro de una corredera con altas paredes donde se celebraban corridas de toros durante las fiestas patronales. Cuando se dejaron de realizar enterramientos en las iglesias y dentro del pueblo, media corredera se convirtió en cementerio hasta que se construyo el actual.
La ermita fue asolada por los franceses en 1812, quemando incluso los retablos e imágenes. Quedó a salvo la Imagen de Nuestra Señora de Valparaíso porque estaba en aquel momento en la Iglesia (aunque también sufrió daños).
La Ermita fue reedificada, incluyendo paredes y artesonado (que era idéntico al de la Iglesia), sobre el año 1826-28, construyéndose exactamente igual, solo que la sacristía se hizo en el lado izquierdo. Se le hizo manto, toca y encajes nuevos a la Virgen… La última reforma data de 1966…
