Bygningen kaldes også Chr.IV’s Kro. I 1624 gav Chr.IV ordre til ”på et belejligt sted skulle lade opføre en kro med tilliggende slagteri”, således at ingen fremmede gæster behøvede at komme ind på skolens område. I dag rummer huset en afdeling af Sydvestsjællands Museum / Sorø Museum.

Museet fortæller i sine udstillinger den lokale historie fra Brommekulturen over Hvidernes Kloster og Absalon til Akademi og bydannelse. Museet har en mindestue for B.S.Ingemann. Endelig har museet anlagt en have, der udelukkende indeholder planter, som Sorøs apoteker, Joachim Burser, beskrev i sin ”Hortus Siccus” i 1600-årene. I haven er der plads til, at museets gæster kan sidde med madpakken.