El Conde de Lemos, Don Rodrigo Enríquez de Castro (1483- 1521), se hacía llamar don Rodrigo Osorio, y era un prócer gallego que unió los reinados de Fernando el Católico y Carlos V.
La disputa sucesoria en el Condado de Lemos afectaba a todo el señorío, pero tenía su epicentro en Ponferrada. Se habían batido por ella frente a los marqueses de Astorga y a los Condes de Benavente. Don Pedro dejaba en herencia a su nieto un enojoso pleito con los poderosos Manrique, Condes de Treviño y Duques de Nájera, sobre la posesión de la codiciada villa.
Durante el siglo XV Pedro Álvarez Osorio, primer Conde de Lemos, toma posesión del Castillo de Ponferrada y lleva a cabo las obras más significativas: construcción de la entrada principal y las cinco torres de la muralla; creación de las rondas y una mina subterránea para acceder al río y a la Cueva la Mora; la Torre del Homenaje en el Castillo Viejo y el Palacio Nuevo.
La historia de este singular personaje está llena de intrigas. De su primera esposa, Beatriz de Castro, nace un único hijo. Muertos esposa e hijo, el Conde se casa con María de Bazán con quien tiene cuatro hijas, la mayor prometida con el hijo de uno de sus principales enemigos, el Conde de Benavente. Después de un largo y complejo pleito de sucesión don Rodrigo, nieto ilegítimo del Conde de Lemos será el sucesor y señor del Castillo hasta pactar la venta de la villa a los Reyes Católicos a principios del S. XVI. Los condes de Lemos utilizaron la cruz de Tau como divisa de su casa nobiliaria, en ocasiones confundida con la cruz roja patada propia de la Orden del Temple.
Tras la disolución de la Orden del Temple, Fernando IV requisa todos sus bienes que, a su muerte, pasarán a manos de su sucesor Alfonso XI. De manos del rey, Pedro Fernández de Castro asume el señorío de Ponferrada en 1340 y dará comienzo a la construcción, en un extremo de la fortaleza, del Castillo Viejo con la Torre del Homenaje Viejo. Su escudo familiar permanece entre sus piedras. El resto del espacio interior amurallado estaría conformado por un complejo conjunto de edificios habitados por vasallos y gentes de armas.
La falta de sucesión hace que los bienes reviertan nuevamente en la Corona de donde pasarán al Duque de Arjona, el cual dejará constancia de su presencia en el Castillo Viejo con la construcción de una nueva torre: Torre del Duque de Arjona.