La présence du château évoque le mélange passionnant de légende, de poésie et d'héroïsme qui entoure les débuts de l'histoire portugaise. C'est sur ce Monte Largo (Colline Large) que le noyau de la future nation du Portugal a été développé pour la première fois.
Vers 968, Mumadona, la comtesse de Galice, ordonna la construction d'un château sur ce site, où la population pouvait se réfugier face aux attaques constantes des hordes de Vikings, arrivant par la mer depuis le nord de l'Europe, et des Musulmans, qui effectuaient des raids depuis les territoires qu'ils occupaient au sud.
En reprenant le gouvernement de la province connue sous le nom de Portucalense de son beau-père, Alphonse VI de León, le comte Henri ordonna la construction d'un autre édifice plus grand et plus solide. Cela marqua le début de l'importante structure défensive que nous pouvons voir aujourd'hui, dominée par le donjon carré qui se dresse entre les quatre tours gardant chacun des quatre coins des murs.
Bien que cela ne soit pas strictement documenté, il est très probable que le bâtiment adossé à la partie intérieure du mur nord ait été la résidence du comte Henri et le lieu de naissance de son fils Afonso Henriques, le premier roi du Portugal.