Da Bjarkøy ætta døde ut med Erling Vidkunsson i 1355 gikk det jordegodset som Erling haddde samlet til hans datter Ingebjørg som var gift med Sigurd Havtoreson. Som sin svigerfar var Sigurd en av de store politiske skikkelsene i norge rundt Svartedauden. Ætta hans kom fra Sudrheim (Sørum) på Romeriket og han var dattersøn av Håkon den 5. Han satt som lagmann i Oslo fra 1347 til litt etter 1350 og satt deretter som sysselmann på Søre Hedmark. Etterhvert ble han høvedsmann på Bergenhus, men mye tyder på at han opphold seg mesteparten av tiden på østlandet. Han var sysselmann på Romeriket på 1370-tallet og er nevnt som kongens frende så sent som 1380. Et brev fra 1390 gir intrykk av at han da er død.
At Herren til Giske fra og med Sigurd, ikke lengre bodde på Sunnmøre, og bare sporadisk besøkte område, var en ny situasjon for Giskegodset. Hvordan administrasjonen av godset ble gjort i denne perioden vet man lite om men en form for godsbestyrer må det ha vært.