Etter det kompliserte arveskifte etter Hans Sigurdsson var det den svenske ridderen Alv Knutsson som overtok Giskegodset. Han var via morsætta grandnevø til Sigurd Jonsson og dermed tremenning med Junker Hans. Når nå godssamlingen gikk over til svenske eiere gjennspeiler det utfordringen som topparistokratiet i Norge hadde etter Svartedauden. Det ble ferre folk og mye mindre inntekter. Dette førte til at man ofte så til utlandet for å finne giftemål som var "gode nok". Alv sikret seg store eiendommer både fra farsiden med den svenske riksråden Knut Alvsons norske eiendommer, og ved giftemålet med den lavadelige Magnhild Oddsdotter. Ho hadde vært gift minst to ganger før og hadde med seg eiendommer på vestlandet inn i godssamlinga.
Alv og Magnhild bodde for det meste på Grefsheim i Nes, men han hadde andre gårder i len og var senere omtalt som høvedsmann på Bergenhus en kort periode. Det som for ettertida han gjort Alv Knutsson mest kjent er trolig hans konflikt med Hartvig Krummedike. Bakgrunnen for konflikten er ukjent men kan være uenighet om valg av konge i 1449. Fiendskapet var så bittert at både Alv og Hartvig er anntatt å ha stått bak drap på flere høytstående personer for å svekke den andre. Konflikten fortsatte og videre etter at Alv døde i 1496 og neste eier av Giskegodset, Knut Alvson ble til slutt drept av Hartvigs sønn Henrik Krummedike.