El Palacio Ducal fue declarado monumento histórico artístico nacional, lo que hoy equivale a la figura de Bien de Interés Cultural, el 3 de junio de 1931.
Su construcción data del siglo XVI, concretamente en 1565, como la residencia oficial del Duque de Béjar. Realmente es un Castillo palacio, el cual se caracteriza por los torreones cilíndricos de refuerzo y otras torres en el antemuro. En la entrada se conserva un antemuro en el que se abre un arco semicircular timbrado con las armas de los duques y sus iniciales F y G, que corresponden a don Francisco de Sotomayor y Zúñiga y doña Guiomar de Mendoza.
Dentro se puede de ver el patio, de forma irregular, con galerías de arcos y columnas semijónicas en dos alas y en ambos pisos.
Se edificó sobre la alcazaba árabe. Junto a el palacio se encuentran los Jardines de El Bosque.
La construcción original que se situaba en el emplazamiento del palacio fue un castillo de planta rectangular con torres en los vértices que se debió edificar en el mismo momento que las murallas de la ciudad, con la repoblación cristiana de la ciudad. El aspecto actual del palacio se debe a Francisco de Zúñiga y Sotomayor, duque de Béjar y duque de Plasencia, que lo construyó en la misma época que el jardín renacentista de El Bosque (siglo XVI). Una de las torres fue destruida en el siglo XVIII, debido a un incendio provocado por un rayo.
