”De Unge Herrers Gaard” byggedes som bolig for Chr. IV’s børn, mens de gik på Akademiet:

I 1624-26 den 13-årige Chr. Ulrik Gyldenløve. Den 9-årige Hans Ulrik Gyldenløve i årene 1624-31. I årene 1625-27 kom sønnen Frederik (senere Fr. III). Ligeledes i 1625-27 kom hertug Ulrik. I 1630-36 kom Valdemar Christian, i 1642-44 og igen 1645-48 Ulrik Christian. Kun den ældste af sønnerne kom her ikke. Han var for gammel, da skolen blev oprettet.

Ridderakademiet for kongelige og adelige, blev oprettet for at det ikke skulle blive nødvendigt at sende de små sønner til udlandet fra de var små - til opdragelse / uddannelse.

Imidlertid var kongens børn, både de ægte og dem han fik med forskellige kvinder (med navnet Gyldenløve), alt for fine til at bo sammen med de adelige inde på Akademiet. Derfor byggede kongen ”Herrernes Gaard” til dem – et stateligt hus i 2 etager – efter tiden. Da den blev bygget var den en statelig bygning på 60 fag, og gik helt hen til Torvet. Dertil en større sidelænge. I øverste etage var taffelstuen, studerekamre og sovekamre, samt bolig for præcepten. I stuen flere rum. Hver prins havde sit eget hof med. Med sig havde de kammerjunkere, hver 3-4 pager og et hof af tjenestefolk: kokkedreng, fyrbøder, kældersvend, skrædder, vognsvend, fadeburskvinde, sy- og vaskepige, 2 karle, så der var brug for megen plads. Da kongen ikke mere ville benytte huset, blev det foræret til Akademiet, Herefter blev det embedsbolig for et par professorer. De købte hver deres halvdel. Den sydlige del forfaldt mere og mere og blev i 1802 revet ned. Efter Akademiets brand i 1813 købte Akademiet den resterende bygning og her var undervisning i årene 1822-1826, mens det nye akademi blev bygget. Senere boede her lektor i tysk, Peder Hjort.

Engang i 1700-tallet har der været flere bygninger. I midten af 1700-tallet er bygningen blevet skalmuret med gule sten mod gaden.

Oprindelig gik bygningen helt hen til Torvet. I denne ende var der i en årrække apotek. I 1800-tallet har der bl.a. været bryggeri, købmandshandel og mejeri. Siden 1926 har der bl.a.været bibliotek. Se også Jul i Sorø 2002.

Lokalhistorisk Arkiv, 2020