Allerede fra bispesete på Selja opprettes i 1068 er det mye som tyder på at biskopen har hatt hovedtilholdssted sammen med kongen i Bergen. I 1170 flyttes bispesetet formelt fra Selja til Bergen da Nikolas Petersson i Sogn, biskop av Selja, flyttet St. Sunnivas levninger fra Selja til Bergen. Nikolas er derfor første biskop av Bergen.
Alt før bispesete flyttes fra Selja er det trolig at det har vært etablert et kloster på området. De fleste anntagelser går på at det rundt år 1100 ble bygget et kloster i tre. Dersom dette er riktig er dette trolig det tidligste kloster i Norge. Det var svartmunker (benediktinermunker) fra England som inntok klosteret. Kriken til klosteret er viet den relativt ukjente engelske helgen Albanus.
Etter at bispesetet ble flyttet til Bergen ble klostervirksomheten på 1200-tallet utvidet og det var på det det meste 12-15 munker samt like mange lekbrødre ved klosteret. I 1305 brant klosteret som var bygget i tre ned og vestfløyen ble gjenoppbygd i stein.
Som for resten av landet var Svartedauen en stor krise for klosteret. Inntektene ble nesten fraverende og ettersom munkene ofte drev sykestell døde mange av pesten. Det siste man hører om klosteret på Selja er fra 1522 og det er derfor trolig at klosteret var nedlagt allerede før reformasjonen.