XVIII a. pabaigoje Pusiasalio pilies teritorijoje vienuoliai dominikonai pradėjo statyti didelę bažnyčią. 1822 - 1823 m. nebaigtos statyti bažnyčios vienoje navoje vienuoliai įrengė koplyčią, o kitoje - vienuolyną.

1864 m. caro valdžiai vienuolyną uždarius, pastatai buvo atiduoti administracinėms įstaigoms. Vienuolyno pastatuose carinės Rusijos metais buvo įsikūrusi ochranka (slaptoji policija), lenkų valdymo laikotarpiu - pasienio policija. 1944 m. sovietinė valdžia dominikonų vienuolyno patalpose įrengė NKVD kalėjimą, o vėlesniais sovietiniais metais čia buvo įsikūrusi milicija, vietinis KGB skyrius. Nuo 1990 m. buvusio dominikonų vienuolyno patalpose įsikūrusi Trakų istorijos muziejaus administracija.