Wybudowany w XIV wieku w stylu gotyckim Klasztorek, był budowlą o charakterze obronnym i wraz z Kościołem św. Wojciecha wchodził w skład fortyfikacji miejskiej. Potem były tu: szkoła, koszary, biblioteka, kino i spichlerz. W 1914 roku uległ pożarowi, a w 1945 r. został zniszczony w trakcie działań wojennych.

Po wojnie ostał odbudowany. W latach 1967-1988 była tu filia Archiwum Państwowego w Olsztynie.