Tras la disolución de la Orden del Temple, Fernando IV requisa todos sus bienes que, a su muerte, pasarán a manos de su sucesor Alfonso XI. Pedro Fernández de Castro asume el señorío de Ponferrada en 1340, dando comienzo a la construcción del Castillo Viejo. Su escudo familiar permanece entre sus piedras. El resto del espacio interior amurallado estaría conformado por un complejo conjunto de edificios habitados por vasallos y gentes de armas.
La falta de sucesión, hace que los bienes reviertan nuevamente en la Corona, pasando al Duque de Arjona. Este dejará constancia de su presencia en el Castillo Viejo con la construcción de una nueva torre: Torre del Duque de Arjona.
Pero el más importante de todos los señores habitaron en el Castillo fue Pedro Álvarez Osorio, primer Conde de Lemos. Se casó con Beatriz de Castro, heredera del duque de Arjona. Siendo dueño del señorío de Ponferrada, acometería durante el siglo XV la mayoría de las ampliaciones del Castillo:
- Durante el siglo XV se levantarán las cinco torres actuales: Moclín, Caracoles, Cabrera, Malvecino y Malpica.
- La entrada principal con todo su sistema defensivo.
- Las rondas de la muralla, la mina y cueva de acceso al río Sil (Cueva la Mora).
- La Torre del Homenaje en el Castillo Viejo.
- La construcción del Palacio Nuevo para su uso como dependencias señoriales. Parte del mismo se cimienta sobre antiguos restos templarios del siglo XII.
La muerte de su primera esposa y de su único hijo Alonso Osorio, deja al Conde de Lemos sin descendientes reconocidos. De su segundo matrimonio con María de Bazán nacerán cuatro hijas, la primogénita comprometida con el hijo de su mayor enemigo, el Conde de Benavente. Este hecho hizo que el conde reconociera como heredero legítimo a Rodrigo, nieto suyo e hijo bastardo del difunto Alonso Osorio. Con el fin de reclamar su herencia, le otorgó a Rodrigo el distintivo de la Tau, que permanece labrado en diferentes partes del Castillo, entre ellas el arco de entrada. Erróneamente se creyó durante siglos, que la Tau, de color azul, representaba a la Orden del Temple, siendo el símbolo de estos una cruz roja con los cuatro lados iguales o cruz patada.
Durante los siglos XIV-XV diversos problemas económicos y sociales hacen que el Camino pierda el esplendor de siglos anteriores. Las guerras, la peste y el hambre sumirán a Europa en la desolación y pobreza y el número de peregrinos descenderá notablemente.