Her boede Mogens Hachsen fra 1733,. Den vestligste ende af Søgade ned mod søen kaldtes i mange år Hachsens Stræde. Han var byens rigeste mand. Huset har i dag navn efter geheimekonferensråd Chr. Urne, som boede her 1810-21. Hans enke (født Güldencrone) solgte huset til Akademiet.

Den første af Akademiets beboere var lektor, direktør H.F.J. Estrup, far til konseilspræsident Estrup.

Den nuværende bygning er bygget i 1802 af fuldmægtig Hans Holberg. Bemærk det vestre sidehus fra 1803 – det skæve hus.