A mai Rákóczi, illetve a Lukáč utcák találkozásánál áll az az egykor ipolysági viszonylatban monumentálisnak tűnő épület, mely részben hasonlít a hozzá közel ékeskedő, kisvárosi tekintetben szintén rangos építménynek számító takarékpénztárhoz. Mindkettőt a XIX. század második felében kezdték építeni, s csaknem egy időben is lettek készen.
Épületünket nevezték a városban Pénzügyi Palotának (külleme miatt) és gimnáziumnak is (egy időben ugyanis ez volt az 1913-ban alakult iskola második otthona). Sajnos, egyes kiadványainkban ezzel kapcsolatban is téves adatokat találunk. Az egyikben például így írnak róla: „A Pénzügyi palota (1867-ből) 1914-ig eredeti küldetését teljesítette. 1914-1945 között magyar nyelvű gimnázium, mely 1944 decembere és 1945 márciusa között szovjet katonai kórházként szolgált.”
Nos, a három adatból csak az utolsó állja meg a helyét. Az elsőhöz és a másodikhoz annyit kell hozzáfűznünk, hogy 1867-ben még nem állt a „Pénzügyi palota”. Az épület csak a XX. század elejére,1900-ra (más forrás 1901-et említ) lett kész, s a Pénzügyigazgatóság székelt benne. Ipolyság városa (mint az egykori Honti Lapokban is olvashatjuk) 1898. május 2-án olyan határozatot hozott, hogy hajlandó a Királyi Pénzügyigazgatóság befogadására, s székházának felépítéséhez hozzájárulni. A pénzügyminiszter 1901-re tervezte az intézet megnyitását, de a főispán kérte, hogy már 1900-ban megnyithassák. 1900-ban aztán a miniszter ki is nevezte az új ipoylsági intézet élére Szabó Albert királyi tanácsost, mint a Honti Lapok erről ugyancsak hírt adott.
Ami pedig az oktatási intézményt illeti: 1914-ben még nem működött itt a főgimnázium, csupán 1926-tól költözött ide. Horváth István, a gimnázium hajdani jónevű történelemtanára is leírta már az iskola 1927-es évkönyvében, hogy „A község a tulajdonát képező, volt pénzügyigazgatósági palotát haszonbér nélkül átengedte az intézetnek. A kormány pedig tekintélyes összeggel iskolai célra átalakíttatta, s 1926. október közepén már az átköltözés is megtörtént“. Ugyancsak Horváth tanár úr írta egy későbbi kiadványban (Az ipolysági m. kir. állami gimnázium (VII.-VIII. osztályban reálgimnázium 1940-41-es Évkönyvében) a következőket: „újból a legnagyobb elismeréssel kell megemlítenünk Ipolyság nagyközség példás áldozatkészségét, mellyel a pénzügyigazgatóság céljaira emelt községi épületet 1926-ban ingyen átengedte a reálgimnázium céljaira. Ezt az épületet foglalja el iskolánk a mai napig.“
A Borovszky-monográfiában is van idevágó anyag, ott az olvasható, hogy 1900-ban Sághy Benő „megyebizottsági tag indítványára épült“ a pénzügyigazgatóság palotája is. Dr. Sághy Benő egyébként a város jónevű ügyvédje volt, aki a közélet több területén is jeleskedett.
A pénzügyigazgatóságoknak a jelzett időben igen nagy szerepük volt az irányításban, ellenőrzésben. Később (1902-től) a vármegye számvevőségét is az állami pénzügyigazgatóságok mellé rendelték, s a pénzügyi ellenőrzésekért közvetlen a pénzügyminiszternek voltak felelősek. 1924-ben sok tekintetben átszervezések történtek, s mivel a település a megyei rangját is elveszítette, az intézet is fölöslegessé vált, épülete a városé lett.
Az épület több régi képeslapon s a Borovszky-monográfiában is látható. Mindez nagy szerencse számunkra, mert így rekonstruálni tudjuk annak egykori küllemét. Hisz mára azok a díszek, építészeti megoldások, melyek tartozékai voltak az 1900-re felépült „palotának“, mára nagyobbrészt eltűntek. Unterberger Gyula kiadásában többször is megjelent a Pénzügyi Palotáról, illetve a gimnáziumról egy külön képeslap. Az 1938-ason még mindig a „Pénzügyi Palota“ felirat olvasható. Látjuk a háromszintes épületet az alagsorral, a földszinttel és az első emelettel. A palotának középen kissé előreugró homlokzata van, a főbejárat kétszárnyas, enyhén félköríves végződésű fakapuval van ellátva. A felső szinten kis korlátbábos erkély, felette a falsávból kiemelkedő háromszögdísz látható. A padlástérből kis toronyszerű pléh kiemelkedés kapott helyet két szellőződísszel. A keleti szárny tizenegy tengelyes, lent egy kisebb bejárati ajtóval. A nyugati rész hat tengelyes. A szárnyak sarkán a padlástérben díszes szellőzőnyílások vannak.
A Borovszky-monográfiában közölt képen jól látszanak az emeleti ablakok feletti szemöldökpárkányok, valamint az alagsor és a földszint közti egyszerű sima falsáv. Fent díszes dupla sáv húzódik. Az erkély alatt oroszlánfej-dísz van.
Egy 1906-os keltezésű képeslapon a „Pénzügyi palota –üdvözlet Ipolyságról. Új telkek” felirat olvasható. 1925-ös keltezésű az a képeslap, melyet egy Masaryk-bélyeggel láttak el, s rá ez a feliratozás került: „Šahy – Finančné riaditeľstvo – Ipolyság – Pénzügyigazgatoság” A visszacsatolás utáni Unterberger-képeslapon ez áll: Ipolyság, M. kir. állami reálgimnázium.
1945 után már nem működött itt magyar gimnázium, mivel a magyar nyelvű oktatás is megszűnt Ipolyságon. Egy ideig szlovák nyelvű gimnáziumi oktatás folyt itt, majd szlovák alapiskola működött az épületben. Ma a kétnyelvű bentlakásos gyógypedagógiai alapiskola otthona.
