En 1483 y con más de ochenta años de vida, muere el Conde de Lemos en el castillo de Cornatel. Las continuas disputas por el reparto de su herencia provocan la intervención y requisa de sus bienes por parte de los Reyes Católicos. La fortaleza del Castillo de los Templarios pasará a estar en manos durante siglos por un corregidor elegido por la Corona.
En manos de la Corona
El primero fue Juan de Torres, responsable de la cuarta torre en el Castillo Viejo, conocida como Torre de los Reyes Católicos. Como es habitual en el Castillo, esta nueva obra será marcada con los escudos de sus benefactores: los reyes y de Juan de Torres.
Se cree que de esta época datan las obras de refuerzo en la Cueva la Mora, construida en tiempo del Conde de Lemos para abastecer de agua el Castillo en caso de asedio. El acceso al río Sil se hacía a través de una rampa con escalones que terminaba en una bóveda de cal y canto conocida como Cueva la Mora. Una vez más surge la leyenda, pues su nombre hace referencia a la creencia de que los moros guardaban sus tesoros en cuevas subterráneas. De toda esta obra, actualmente solo se conserva la mina.
Desde 1558 el señorío de Ponferrada recae en descendientes del Conde de Lemos, los marqueses de Villafranca del Bierzo, gobierno que asumirían hasta el siglo XIX. Hay que destacar que, tras la muerte del Conde de Lemos y con el fin de solventar el pleito por su herencia, los Reyes Católicos crean y conceden este título nobiliario al matrimonio compuesto por la primogénita del conde, Juana de Osorio y Bazán, y por Rodrigo Alonso Pimentel, primogénito del Conde de Benavente.
Durante estos siglos las obras en el Castillo serán casi nulas. Mientras, Ponferrada inicia un continuo crecimiento demográfico y prueba de su expansión son los edificios construidos en dicha época. Durante el siglo XVI la Cárcel Real, el convento de la Purísima Concepción, la Torre del Reloj y se inician las obras de la actual Basílica de la Encina sobre los restos de la iglesia de medieval de Santa María. En el XVII la iglesia de San Andrés y el Ayuntamiento. En el XVIII la Casa de los Escudos y un siglo más tarde Las Cuadras. Por su parte, el Camino de Santiago permanece latente, con una escasa afluencia de peregrinos.