På dette sted opførtes et rådhus i 2 etager med blå tagsten i 1844. Rådhuset brændte i 1879. I stedet opførtes den nuværende rådhusbygning tegnet af arkitekt F.V. Tvede.

Der blev bolig for arrestforvareren og det indeholdt 3 celler, senere 12 celler, samt samlingssal, tingstue, arkiv, byrådssal mv. I bygningens vestfløj ses endnu arresten fra den tid.

Omkring 2011/12 overtog Realdania Byg rådhuset. Det blev gennemrenoveret og derefter udlejet til Sorø Kommune. I den oprindelige byrådssal bliver der igen afholdt byrådsmøder. Bygningens andre rum udlejes til forskellige formål.