Under åren 1278-1527 var Segersjö Herrgård biskopssäte för Strängnäs biskopsstol. Under denna period, närmare bestämt någon gång på 1400-talet, påstås det att Biskop Thomas vistades på Segersjö och att det var här han skrev den berömda frihetssången. "Frihet är det bästa ting, där sökas kan all världen omkring, den frihet kan väl bära. Vill du vara dig själver huld, du älska frihet mer än guld, ty frihet följer ära".
Fast i ärlighetens namn bör det påpekas att Biskop Thomas påstås ha varit än här och än där och skaldat.
En holländsk köpman, Erik Larsson, satsade 20 000 riksdaler åt Sverige i det trettioåriga kriget. Som tack för detta fick Erik Larsson, sedermera adlad von der Linde, Segersjö som ersättning. Vid Erik von der Lindes dödsfall 1636 ärvdes godset av hans son.
Härföraren Lennart Torstensson fick Segersjö av drottning Kristina som tack för sina insatser på slagfältet - trots att gården redan ägdes av släkten von der Linde. Denna delikata ägarfråga löstes genom att Lennart Torstensson erlade en summa på över 61 000 daler till Erik von der Lindes arvingar.
1681 återtogs godset av Kronan, trots protester från Torstenssons arvingar. 1721 återlämnade Kronan godset till släkten Torstensson.
Släkten Montgomery är en urgammal engelsk-skotsk släkt. Till Sverige kom släkten runt 1720 och introducerades i Sveriges Riddarhus 1776. Det är således ingalunda av slump som den nuvarande ägaren, Robert Montgomery-Cederhielm, understundom uppträder högtidsklädd i kilt.
1768 köptes Segersjö av friherre Josias Carl Cederhielm. Josias, som inte fick några manliga arvingar, gjorde 1792 godset till fideikommiss för sin dotters ätt. I villkoren för fideikommisset stod bl.a. att innehavaren samt den äldste sonen till namnet Montgomery också skulle bära namnet Cederhielm.
Huvudbyggnaden på Segersjö byggdes 1776, då som ett långt envåningshus av sten med brutet tak. 1876 byggdes huset om i italiensk stil, och fick samtidigt en andra våning och en tredje våning ovanpå mittpartiet.
Herre på Segersjö under 1700-talets mitt var krigaren Robert Montgomery, som också ingick i Gustav III:s närmaste umgängelsekrets. Denne Robert enleverade under en av sina krigarresor sin första hustru, Anna Sibylla von Strahlbourg, som smugglades ut ur Tyskland gömd i en minst sagt gedigen träkista (som än idag kan beskådas i en av salongerna på Segersjö). Robert Montgomery, som med tiden fick överstes rang, blev 1789 dömd till döden misstänkt för att ha varit inblandad i Anjalaförbundets komplotter gentemot Gustav III. I stället för att möta sin bleka död benådades han dock med förlust av sin tjänst, och utvisades till S:t Barthélemy (dåtida svensk koloni i Västindien). Därifrån fick han återvända först 1793. Robert Montgomery fick femton barn tillsammans med sina tre lagvigda hustrur - och ryktet låter gälla att ättlingar också finnes på S:t Barthélemy.