Museet åbnede i 1943 i Priorgade på initiativ af ”Soransk samfund” og var her til 1963. Den bygning museet nu er i, er bygget til Sorø Akademis godsinspektør i 1832, etatsråd Søren Kierulff Povelsen. Senere var bygningen i en årrække aftrædelsesværelse for de siddende undervisningsministre og for et par af Sorø Akademis lærere. Museet blev stærkt udvidet i 2011 – en helt ny bygning tegnet af arkitekterne Lundgaard og Tranberg.

Museet rummer over 2300 værker, der spænder over 350 års kunst, med fine eksempler fra kunsthistoriens tidsperioder til den nye tids strømninger. Disse samlinger viser stærk tilknytning til byen.

Museet har samlinger af russisk kunst fra ca. 1870-1930, foræret af Lorenz Jørgensen. Endvidere landets største samling af russiske ikoner fra omkring 1500-1900, doneret af Per Schrøder, Hermod Lannung og Lorenz Jørgensen. Museet arrangerer hvert år 3 særudstillinger.