Da Chr.IV oprettede sit Ridderlige Akademi i 1623, blev der også brug for et boldhus til de ridderlige idrætter. Bygningen var oprindelig en et-etages bygning, der senere blev brugt til andre formål. Her har været ting- og arresthus, bolig for graveren, og på loftet har der været kornmagasin. Fra 1861 blev det brugt til kontor for Stiftelsen Sorø Akademi i næsten 100 år. I 1861 blev der bygget en 1.sal på, til bibliotek og udlånslokale. Biblioteket rummer nu over 80.000 bind, samlet ind efter branden i 1813. Det er en meget blandet samling. Grundstammen er en gave fra 1827, hvor geheimekonferensråd Johan Bülow skænkede sit værdifulde bibliotek til Akademiet. Endvidere en fin Holberg-samling. På trappen til 1.sal hænger en række kongebilleder, en gave fra Chr.IV. I stuetagen er der uddannelsesbibliotek for de studerende.

Lokalhistorisk Arkiv, 2020