A XIX. század utolsó felében a két impozáns sóház (a művészeti alapiskola és a volt rendőrségi épület) közti területen, az egykori sóraktár helyén kezdték építeni a takaros városházát, amely aztán 1888-ra lett kész. A késő klasszicista stílusban emelt ház Ipolyság legszebb műemléképületei közé tartozik.
Az épület egészére jellemző a mértéktartás, a világos homlokzat. A kétszintes építmény közepén előreugró homlokzat van, a főpárkány felett pedig korlátbábos felfalazást láthatunk. A középrizalit előtt oszlopos erkély áll. A nyitott erkély a bejárati ajtó elé, a járda fölé épült, idézve az antik oszloprendeket is. Az ablakok felett háromszög alakú párkánydíszek láthatók.
A termek sima mennyezetűek. A folyosók lépcsőit kovácsoltvas korlát szegélyezi. Az épületet a földszinten és az emeleten hosszú folyosó osztja keleti és nyugati részre. Az emeleten a folyosót szép boltívben végződő oszlopok tagolják ketté. A ma tornateremnek használt, egykori díszteremben hajdan a városháza tartotta üléseit, összejöveteleit. Itt voltak a nagyobb rendezvények, s ez volt a kaszinónak is a díszterme.
Az épület felújítását 1993-ban fejezték be. Az év április 7-én a Városi Önkormányzat, az akkori ipolysági székhelyű Szondy György Alapítvány és a budapesti Széchenyi Társaság jóvoltából gróf Széchenyi István tiszteletére egy emléktáblát helyeztek el az épületen. A táblát Vetró András szobrászművész Széchenyit ábrázoló, 57 cm átmérőjű plakettje díszíti.
Az épületet az ipolyságiak nevezték (nevezik) városházának, kaszinónak, gimnáziumnak is.
Mindhárom megnevezést joggal kapta e ház, hisz valamennyinek otthona volt egy ideig. Mivel építéséhez a Honti Kaszinó (amely már 1834-ben alakult, s első otthona a rozsnyói káptalan ipolysági fogadójában volt) anyagiakkal is hozzájárult, szintén itt székelt 1888-tól 1913-ig. 1913-ban ugyancsak ez az épület lett az akkor induló főgimnázium otthona.
Visszapillantás az intézet történetére címmel a gimnázium egykori jónevű történelemtanára, a régészkedő dr. Horváth István írt egy tartalmas összefoglalót 1927-ben, melyben ez olvasható: „… a Honti Kaszinó pedig nagy önmegtagadással lemondva otthonáról, az épület egész emeleti részét magában foglaló összes helyiségeit, sőt még bútorainak nagy részét is az iskola rendeltetésére bocsátotta”.
Az iskola 1940-41-es Évkönyvében is találunk ide vonatkozó adatokat.
Horváth István, az akkori megbízott igazgató így írt:
„1919. januárjában a cseh legionisták szállták meg az iskolát. E zavaros időkben, amikor Ipolyság és környéke hadszíntérré változott, az egymást felváltó katonai beszállásolások következtében, a szertárak elpusztultak. 1919. októberében a csehszlovák iskolai kormányzat az iskola újból való megnyitását megengedte. Azóta fokozatosan 8 osztályú reálgimnáziummá épült ki.”
Egészen 1926-ig működött itt az iskola. Majd az ötvenes években újra indult magyar gimnázium épülete lett, s egészen 1981-ig folyt itt az oktatás. Utána egy kis ideig a magyar tannyelvű alapiskola alsó tagozatos osztályai kaptak helyet benne. A leromlott műemléképület felújítása csaknem egy évtizedig tartott. A belső felújítást 1992 augusztus végére fejezték be, szeptemberben pedig beindult itt a Fegyverneki Ferenc Magyar Tannyelvű Egyházi Alapiskola, később pedig a Nyolcosztályos Gimnázium.
