Pedersborg kirke ligger på en naturlig bakkeknold, som er stærkt afgravet i terrasser, navnlig østsiderne og vestsiderne står med stejle sider. På banken har der før kirken ligget en borg fra 1100-tal let, bygget af Peder Torstensøn, efter hvem stedet har navn. Han var gift ind i Hvideslægten, idet han var gift med Cecilie, datter af Skjalm Hvide.

Hvordan borgen så ud, ved man ikke, men der er fundet rester af mindre søjler og vinduer i frådsten, sandsten og granit, der tyder på, at det har været et ret fornemt bygningsværk. På den øverste terrasse mod nord byggede han en rundkirke i kløvet kamp. En rest af rundkirkens mur er frilagt, og murens runding viser, at denne kirke har haft samme diameter som Bjernede Rundkirke, der også er bygget af Hvideslægten. Rundkirken har formodentlig også tjent som fæstningstårn.

Området er omgivet af en halv-kreds-vold, omkransende præstegården og præsteengen, men dens kerne er ældre, muligvis fra 600-tallet.