El linaje de los Pimentel, Condes de Benavente, construyeron a lo largo del siglo XIV y XV, gran cantidad de edificaciones con finalidades muy distintas en todo el territorio dominado por su influencia: fortalezas, torres, palacios, jardines, hospitales, monasterios, etc.

Fuentes de la época nombran una construcción peculiar que denominaban como la Casa del Lago, enclavada en el Lago de Sanabria. Diversos documentos apuntan a la existencia de un Palacete en medio del Lago, lo que parece indicar que ésta construcción se situaba en la "Isla de las Moras". Varias prospecciones evidencian el apilamiento intencionado de piedras en torno a un afloramiento rocoso natural que sirvió de base. Si bien, es difícil imaginar un edificio como el descrito en un lugar de reducidas dimensiones como es la "Isla de las Moras" a no ser que en épocas anteriores el nivel del agua fuera inferior o que esta isla tan sólo fuera un apéndice lúdico del edificio principal situado en la orilla. Si realmente la construcción se alzó sobre el islote la complejidad técnica y el esfuerzo humano debió ser enorme. Algunos autores de la época hablan de artesanados de oro lo que  evidenciaría el lujo con el que contaba el Palacio.

Parece ser, que el Cuarto Conde de Benavente, Rodrigo Alonso de Pimentel, dueño y artífice del Castillo de Puebla de Sanabria también lo fue de éste palacete. El posible uso que los Condes pudieron dar a este curioso edificio no está muy claro. Lo más probable es que tuviera una finalidad puramente simbólica del poder del Conde y fundamentalmente de recreo, haciendo las veces de pabellón de pesca.

La construcción debe considerarse contemporánea a la del Castillo de Puebla de Sanabria, cuyo núcleo central de los trabajos se desarrollaron entre 1477 y 1482. Cabe además la posibilidad, en base a razones de proximidad geográfica, que el maestro Juan de Herrada, responsable al menos de la torre del homenaje del castillo ("El Macho"), pudiera haber participado de alguna manera en la Casa del Lago.

Posteriormente el palacete fue cedido a los monjes del Monasterio de San Martín de Castañeda a los cuales se les otorgaba la libertad para allanarlo o derribarlo, o destinar su fábrica a cualquier uso. Tal vez la abadía cisterciense mantuvo aquí alguna infraestructura elemental, formando parte del aprovechamiento pesquero del Lago.

La escasa documentación sobre la existencia de este Palacete y el origen verdadero de la "Isla de las Moras" dan rienda suelta a múltiples elucubraciones al respecto e incrementa el misticismo que esta isla crea en el Lago de Sanabria. Corre la creencia de que un túnel comunicaba la isla de Las Moras con el Monasterio de San Martín de Castañeda. Así, durante la espantosa Inquisición, a los herejes se les conducía por este pasadizo hasta el islote donde ejecutaban su sentencia de muerte. También se dice que para la construcción del palacete se bajó de nivel del agua del Lago y, al quedar la roca con menos agua, pasaron a la isla las piedras desde Ribadelago con carros.

Fuentes:

- Notas sobre "La Casa del Lago" del Conde de Benavente: A propósito de un pergamino del Archivo Histórico Provincial de Zamora. Autor: Rafael González Rodríguez. Revista Brigecio, nº 9, 1999. Centro de Estudios Benaventanos "Ledo del Pozo".

- Un baño de misterios y leyendas: La Opinión de Zamora.