Se encuentra en un amplio llano, en la cumbre de la precipitada mole de roca por donde discurre la Villa. A 960 m. de altitud, es innegable que el lugar y el emplazamiento hacían de dicha fortaleza algo inexpugnable.

Fue edificado en la segunda mitad del siglo XV, bajo el mandato del IV Conde de Benavente, D. Rodrigo Alonso Pimentel, cuyos blasones y los de su esposa aparecen en la puerta principal.

Es de planta regular y en el centro posee una enorme y casi cuadrada TORRE DEL HOMENAJE, denominada popularmente "MACHO", constituida por varias plantas, protegida por un puente voladizo, merece la pena disfrutar del paisaje que se domina desde lo alto de la misma.

El "MACHO" se encuentra rodeado por un recinto amurallado, protegido por cubos semicilíndricos distribuidos desigualmente. En el flanco oriental, que mira al Valle del Tera, se abren numerosas ventanas y un gran balcón, que animan la fachada. Un bello blasón sobre repisas, constituye prácticamente el único ornamento del austero conjunto.

En la parte Norte del recinto amurallado se encuentra el Centro de Visitantes en la "Casa del Gobernador". Con diferentes salas expositivas el visitante podrá adentrarse en la Ruta de los Pimentel, desde los verdes campos de Vinhais en el Parque portugués de Montesinho, pasando por el enclave hidrológico de Benavente hasta la llanura de Villafáfila.

En la Plaza Mayor, cerca del Castillo, se encuentra la iglesia parroquial, bajo la advocación de Nuestra Sra. del Azogue.

Su construcción data de finales del siglo XII, de esta época conserva sus restos románicos en los muros laterales de la nave y en el hastial con su portada. Los capiteles románicos de la puerta muestran decoraciones de tipo vegetal y el tema bíblico de Adán y Eva tentados por la serpiente. En los fustes aparecen figuras humanas adosadas ataviadas con el atuendo de la época.

El amplio crucero y su cabecera poligonal son góticos y están cubiertos por bóvedas de crucería estrelladas. En el interior se conserva una PILA BAUTISMAL del siglo XIII con figuras talladas en el frontal. Se hallan también una pieza musical de museo: el órgano del coro, bello instrumento datado en 1780 y del que surgieron notas musicales hasta 1930.

El suelo de la iglesia guardó durante años un secreto hasta que en 1995 tras la obras de restauración se descubrieron un mar de lápidas funerarias que ocupaba toda la superficie del templo. La torre resalta altiva, aunque poco concordante con la sobriedad románica de la edificación primitiva.