El linaje de los Pimentel, Condes de Benavente, construyeron a lo largo del siglo XIV y XV, gran cantidad de edificaciones con finalidades muy distintas en todo el territorio dominado por su influencia: fortalezas, torres, palacios, jardines, hospitales, monasterios, etc.

Fuentes de la época nombran una construcción peculiar que denominaban como la Casa del Lago, enclavada en el Lago de Sanabria. Diversos documentos apuntan a la existencia de un Palacete en medio del Lago, lo que parece indicar que ésta construcción se situaba en la "Isla de las Moras". Varias prospecciones evidencian el apilamiento intencionado de piedras en torno a un afloramiento rocoso natural que sirvió de base. Si bien, es difícil imaginar un edificio como el descrito en un lugar de reducidas dimensiones como es la "Isla de las Moras" a no ser que en épocas anteriores el nivel del agua fuera inferior o que esta isla tan sólo fuera...