Ved kommunalreformen i 1841 fik Sorø Amt et ”Syge- og Arbejdshus”, hvilket var en slags fattighus med tilknyttet hospital – med tiden dog mest et sygehus, i dag kaldt Allehuset.

Ved århundredskiftet forelå tegninger til et nyt sygehus ved arkitekt F.C.C.Hansen.

Det blev taget i brug i 1903 med overlæge Hans Kaarsgaard som distrikts- og sygehuslæge, og fra 1915 som embedslæge.

Hans Kaarsberg (1854-1929) var en meget bramfri personlighed og ens overfor alle. Han fik en doktordisputats godkendt i 1889 og skrev senere flere afhandlinger. Han foretog rejser til uberørte folkeslag, til de kirgisiske stepper, til Tunis og til Lapland. Han udgav rejseskildringer, romaner, noveller og en selvbiografi.

Han interesserede sig meget for friluftsliv, jagt og fiskeri. Endvidere var han kendt som motorcyklist.