Titkos ajtó az erdő mélyén, mely egy fába vezet? Élő fában emberi építmény? Nem, nem Tolkien valamelyik középföldi fantáziavilágában létezik csak, hanem a Garam mentén is dívott egykoron.
Zselíz 19. századi legattraktívabb nevezetességei közé tartozott az úgynevezett fakastély, melyet egy 7-800 éves tölgy odvában alakítottak ki. A várostól keletre haladva a Garamon túl húzódott (s részben húzódik ma is) a Hosszúlánc dűlő, melynek a szélén, a nagyberki erdőrésznél volt található e különösen érdekes természeti képződmény. Tulajdonképpen nem ritka módon egy grandiózus kocsányos tölgy törzsében természetes odú képződött, melyet valaki kivájt, kialakítva ezzel a fa gyomrában egy kisebb helyiséget, amelyben a korabeli leírások szerint tizenketten is elfértek (sőt egyes források szerint akár tizennyolcan is). A helyiség közepén egy kerekasztal volt, körülötte pedig padok, székek, így nagyon népszerű helynek számított dorbézolásokra, sőt szerelmi légyottokra is, hiszen a városközponthoz nem túl közel, de nem is bejárhatatlan távol esett, alig 2-3 kilométerre, meglehetősen közel Árok-majorhoz.
A mesés helyiséghez hozzáférése a mindenkori grófnak és az erdőkerülőnek volt, ebből kifolyólag főként a grófi család, valamint a főúri vadászatok résztvevői használták. A reteszes tölgyfaajtón kívül egy 40 x 40 centiméteres nyílása volt a szellőztetésre.
A fakastély kialakítását körülbelül a 18. századra datálják, de a legenda szerint már korábban is létezhetett, és maga Mátyás király is megfordult itt börzsönyi vadászatai során. Később nagy valószínűséggel a neves bécsi zeneszerző, Franz Schubert is járt itt az 1818-as és 1824-es féléves itteni tartózkodása idején, bár fennmaradt levelezéseiben és feljegyzéseiben sajnos nem tesz erről említést.
De hogy Monarchia-szerte nagy híre volt a mesebeli tölgymatuzsálemnek, azt mi sem bizonyítja jobban, mint az, hogy a Borovszky Samu által szerkesztett Magyarország vármegyéi és városai monográfia-sorozat 1903-ban megjelent Bars vármegye című kötete is említést tesz róla: „Zseliz határában egy feltűnő természeti nevezetességet találunk s ez amaz óriási ős tölgyfa, mely fakastélynak is neveztetik. Ezen ősrégi tölgy (quercus pedunculata) Zseliztől ½ órányira, a Garamon túli nagyberki erdőrészlet szélén áll. Kora körülbelül 600 évre tehető s bár már sokat szenvedett, még mindig dús lombozatot s nagy életerőt mutat. Törzsöke, melynek kerülete (3 ½ lábnyi magasságban) 26 láb és 4 hüvelyk, belül üres. Átmérője a föld szinénél 7 láb 7 hüvelyk. Ezen tölgy belső üregét az Eszterházy-család régebben szobává alakította át; középen kerek asztal és ülőpadok állottak. Az asztal romjai s a szobafestés nyomai még ma is láthatók; a padokon 18 ember kényelmesen elférhetett. Most már csak ide tévedt utasok, vadászok és pásztorok használják néha menhelyül az idő viszontagságai ellen.”
Ugyanakkor az 1900-as évek elején ébredező természetvédelmi mozgalom is számon tartotta és Kaán Károly javaslatára az elsők között vették fel a védett fák listájára. A történelmi Magyarország három természeti értékének kategóriájába sorolt fák közül ez volt az egyik.
Pusztulására 1932. május 29-én került sor, amikor egy vihar során kidőlt. Az akkori grófnő, Coudenhove (szül. Breunner) Ernesztína nem engedte, hogy felfűrészeljék azt, mivel elgondolása szerint még a maradványai is érdekesnek számíthatnak. Két évvel később viszont ismeretlen okokból mégis leégett a fa, egyes vélemények szerint szándékos gyújtogatás áldozata lett, emléke azonban a mai napig elevenen él a helyiek és a környékbeliek körében.
