Byen Sorø er blot en af de byer, som Chr. IV grundlagde. Byplanen lever helt op til renæssancens idealer: Et par lige gade retvinklet på hinanden og et symmetrisk torv. Bag hovedgaden var der en parallelgade, kaldet Baggade, da de fleste gårde i byen havde stalde til bagsiden af grundene. I Sorø kaldes baggaderne senere Søndergade og Rolighed.

På Torvet ses byens 2. rådhus fra 1881 bygget i tidens ”nordtyske rådhusstil”. Ved Søgade ses Scavenius Stiftelse, for lærerenker fra Sorø Akademi. Huset kendt allerede i 1682. Ved Søgades andet hjørne ses Regensen. Også denne er kendt i 1682. Navnet hentyder til, at her boede de ældste akademielever i årene 1821-47. Midt på Torvet ses en statue af grundlovens giver, Frederik VII. På Torvet var også en af byens brønde indtil 1912. Endvidere 0-punkt stenen, ligesom den på Rådhuspladsen i København.