Bygningen, også kaldet Portnerens Hus og vagtens Hus, lå tværs over Storgade, lidt nord for Postgården, hvor en plade ses i fortovet.

Byens første byport blev en port, som på en bindingsværksbygning, lerklinet og med stråtag. Det blev altså ikke en byport, som kendes fra middelalderens byer, men blot et hus med en port i. Senere har den fået tegltag, som nok er bekostet af byens matador. Den har i en del år huset kunsumtionsboden og nok også byens vagt. Porten har på den tid været 3m bred, 3m høj og 7 m lang – et lille hul som eneste adgang til byen – lidt mindre gennemgang end Klosterporten. Da Banevejen over Sorø Sø blev åbnet i 1856 voksede trafikken i byen betydeligt, og man besluttede at rive den vestlige side af byportbygningen ned. Den østlige side forsvandt først i 1876/77. Bymuren var blot et stengærde med et hegn på og en grøft.