Karl Knutsson ble etter farens død i 1501 satt ut av spill i Norge og oppholdt seg for det meste hos moren i Sverige. Moren giftet seg opp igjen og det ble etterhvert så mye uvennskap i slekten at Karl skiftet side og gikk inn i tjeneste hos danskekongen Christian 2. Dette førte til at han i 1515 fikk tilbake alle eiendommer som hadde blitt konfiskert av Kong Hans. Som soldat i danskekongens tjenste levde ikke Karl lengre enn til 1520 da han døde i kamp. Samme år døde og Karls bror Erik Knutsson og det ble igjen en komplisert og langvarig arvestrid om eierretten til Giskegodset. Den som hadde arveretten var Karls tante Karine Alvsdatter og Karls niese Gørvel Fadersdatter, men Inger Ottesdatter (også kjent som Fru Inger til Austrått) mente hun hadde større arvekrav og tok eierskap over hele godset. Dette hadde hun helt til det på Riksmøtet i Bud ble rettslig overført til Karine Alvsdatter.