Huset er fra 1700-tallet. Generalkrigskommissær Peter Otto Rosenørn var den sidste privatmand, der ejede det. Efter hans død i 1847 overtog Akademiet ejendommen til lektorer og professorer ved skolen.

Et romantisk skær hviler over huset. Frederik VI havde, en frille/en maitresse. Mens kongen deltog på Wienerkongressen efter napoleonskrigene, så hun sig meget varm på en købmand, så da kongen kom hjem, var hun blevet gravid. Kongen blev skuffet og vred (trods sine egne eskapader i Wien), og hun blev ”landsforvist” til Sorø, til Søgade 7 med sin nyfødte søn.

I Sorø var man meget glad for besøg af Bente Frederikke Dannemand, som livede op i det lokale selskabsliv. Efter næsten 2 år blev hun hentet hjem til et hus i Toldbodgade. Fru Dannemand købte senere huset i Søgade og ejede det i årene 1823-1830.