Tidligere Tønsberg Sjømannsmuseum hadde sine første lokaler i sjømannskolen på Haugar i Tønsberg, nå Haugar Vestfold Kulturmuseum. Men sjømannsskolen trengte etter hvert lokalene selv og hele samlingen ble derfor overlatt til Vestfold Fylkesmuseum. Riktignok hadde sjømannsforeningen et billedgalleri i Hotell Maritim, men først ved kjøpet av Tollboden, kunne drømmen om å ha et eget Tønsberg Sjøfarthistorisk Senter (TSS) med eget museum realiseres.
Senteret ble innviet i juni 2007.