Bygningen er opført i 1600-tallet i 2 etager. Sidelængerne er opført i 1822 til brug for Akademiet og indrettet til bryggers, stald, karlekammer, heste- og kostald mv. samt lokummer. Bygningerne blev kraftigt restaureret i 1977-81.

Akademiet brændte ned i 1813, hvorefter der ikke skete noget i en del år, bl.a. på grund af Danmarks Fallit og Englandskrigene. Da man i 1822 begyndte at bygge Fr.VI’s Akademi efter branden, manglede man steder at undervise under genopbygningen. En af de bygninger, man anvendte, var Regensen.

Her boede elever, der fortsatte uddannelsen og tog 2.del af deres uddannelse her i stedet for i København, deraf navnet Regensen.

En af de lærere der boede i stueetagen, var den kendte lektor Chr. Wilster.

Gennem en årrække boede landsdommer Deichmann i huset. Hans arvinger solgte det i 1763.

Rundt om i Sorø boede militære topfolk på byens bedste adresser omkring på 1800, nogle i garnison og andre som pensionister. Generalmajor C.V. Baron v. Güldencrone boede her fra 1811 til 1820, og bygningen kaldes også Güldencrones Gaard.