Da Marinens hovedstasjon i første halvdel av 1800-tallet flyttet til Horten fra Stavern, fulgte både militært og sivilt
personell med. I Keisemarkgatene bygdes det etter hvert mange privathus, de fleste med offiserer som eiere, men også sivile eiere. Skipsbygningsassistent M. Hansen bygde et større et etasjers hus. I 1865 kjøpte Garnisonsprest Wilhelm Fredric Benedict Peter Sverdrup, sønn av den kjente Eidsvollsmannen og professor Georg Sverdrup skipsbyggerassistent M. Hansens hus i Nedre Keisemark.
 

Huset ble påbygget en 2. etasje med balustrade rundt, og etter hvert ble det også gitt tillatelse til å bygge på et tårn i tre etasjer. Huset fikk etter dette navnet Tårnegården og var et imponerende herskapshus med en dominerende beliggenhet med utsikt over orlogshavnen og det nye marinemiljøet. Sverdrup døde i 1872 og de senere eierne har hatt tilknytning til marinen. Som Kronprins bodde Kong Olav som gjest i Tårnegården når han besøkte Horten.

Horten broderforening ble stiftet 11.03.1952. Tårnegården var lagt ut for salg. Dristige brødre i broderforeningen undertegnet 01.06.1952 kjøpskontrakten, og Tårnegården var da i deres eie. Andelslag ble stiftet, planer utarbeidet og ominnredninger vedtatt.

Dugnadsinnsatsen var stor og da Odd Fellow loge nr. 40 Vern ble instituert 02.05.1953 ble logesalen innviet, og feiringen i etterkant av institueringen ble holdt i gårdens nye selskapslokaler. Tårnegården var eiet og drevet som et andelslag med brødrene som andelseiere.

Den 03.09.1983 ble Rebekkaloge nr. 67 Cordelia instituert og søstrene ble andelseiere.

Søstrene og brødrene i Cordelia og Vern følte seg nær knyttet til Tårnegården. Etter hvert trengte gården en omfattende restaurering. Dessverre hadde ikke andelslaget økonomi til en så omfattende restaurering. AL Tårnegården inngikk et samarbeide med Frimurerne om kjøp av Nordre Enggt.7 eiet av Den Kristelige Menighet. Tårnegården ble solgt og 06.10.1999 ble logenes nye tilholdssted AS Logegården innviet.