Ipolyság történetének kiemelkedő szakasza volt a XIX. század első fele is. Miután Hont vármegye háza a közeli Kemencén leégett, a megyei rendek 1805-ben úgy döntöttek, hogy Ipolyságra helyezik a székhelyt. Ez később egy új székház felépítésével is járt, amiről az 1822. évi december 9-iki közgyűlésen született határozat.
Mint a régi megyei monográfiában (Borovszky) olvasható: a folyón túli Homokra, az egyik dombra, a mai zsidó temető mellé tervezték a „nagyszerű épületet”, amely körül Ságújhely néven új városrész is létesült volna. Az építkezést 1827-ben, Plachy Ferenc alispánsága idején kezdték meg, az 1830-as választások azonban keresztülhúzták a tervet. „Már állottak az új emeletes megyeház falai, majdnem tetőzetig; az építkezés már föl is emésztett 25–30,000 frt költséget, a mikor Majthényi Antal, Plachynak az alispánságban utóda, a ki ellene volt a megyeház azon a helyen való építésének, alispáni hatalmát nyomban latba vetette, és a helytartótanácsnál kieszközölte, hogy a megyeház Hont-Ipolyság mezővárosban építtessék” – olvassuk az említett helyen.
Bár több forrásban is azt írják, hogy az egykori ipolysági vármegyeháza 1827 és 1857 között copf-klasszicista stílusban épült, ez csak akkor igaz, ha az első építkezési kísérletet is ide számítjuk.
Hogy az a székház milyen lett volna, nem tudjuk. Ám mint egy másik megyei helytörténész (Gyürky Antal) írja: „A terv valóban nagyszerű volt, úgy, hogy ha az épület elkészül, több hozzá hasonló az országban nem lett volna”. S mint a továbbiakban említi: már a pincék, kutak, börtönök, jégvermek, valamint a szép ízléssel emelt kápolna is álltak, ám a köveket végül 1830-ban áthordták az Ipoly jobb partjára, s megkezdődött az újabb építkezés.
A copf-klasszicista stílusú vármegyeháza tervezője az Eszterházyak udvari építésze, egy Ehmann nevű mester volt. A copf és a klasszicista stílus kapcsán itt csak annyit mondunk el, hogy az előbbi a rokokó stílussal együtt a barokk késői ága, mintegy átmenet a barokk és a klasszicizmus között. Az utóbbi pedig „a barokk és a rokokó szertelen túldíszítettségével és dinamizmusával szemben az új, görög stílusnak is nevezett klasszicizmus építészete a nyugalmat és az egyensúlyt tartotta fontosnak. Az íves vonalak helyett újból az egyenes vonalak váltak jellemzővé, a tiszta és egyszerű alaprajz, a vízszintes tagoltság és a szigorú arányok mellett. Az épületeken antik görög díszítményeket, görög oszlopokat, timpanont találunk.”
1831-re tehát elkészült az immár második helyen emelt megyeházának az Ipolyra néző déli szárnya. Ezután azonban a pénztár kimerült, így 1842-ben elhatározták, hogy a befejezéshez szükséges anyagiakat a nemesség adja össze.
1845-ben tető alá került a nagyterem, s 1846. január 6-án megtartották benne az első gyűlést. A szabadságharc idején az építkezés ismét megszakadt.
Az új megyeház végül 1857-ben készült el, vagyis 35 évvel a határozat után.
A bécsi kormány 18 ezer forinttal járult hozzá a költségekhez, Ferenc József császárt az avatóünnepségen ennek ellenére meglehetősen (és érthetően) hűvösen fogadták.
A megyeháza kétszintes, U alaprajzú, háromszárnyas épülete tehát a XIX. század második felének elejére a főtér ékessége, Ipolyság díszes építménye lett.
Az épület homlokzatát oszlopfőkkel ellátott kiugró falrészek díszítik. A központi homlokzatot és az épület bal szárnyát a kulturális minisztérium és a Szlovák Gázművek (SPP) támogatásával újították fel.
A munkálatokat Ján Filo szobrászművész felügyelte. A történelmi jelentőségű, patinás épület felújítása során „számtalan díszítőelemet, stukkót, oszlopfőt kellett restaurálni, a hiányzó részek pótlásánál is szakértői véleményre volt szükség”. A homlokzatot egyébként Hont vármegye címere, valamint a négy erény, a bölcsesség, hazaszeretet, szorgalom, és igazságosság szobra díszíti.
A bejáratnál Janko Kráľ szlovák költő mellszobra és emléktáblája látható. A jeles szlovák szülött a szabadságharc alatt egy ideig a megyeszékhely börtönében raboskodott Ján Rotharidesszel. Az árkádos előcsarnokban a kemencei megyeházáról áthozott XVIII. századi Hont megyei címerkő látható az alábbi felirattal: EZEN CZIMERKŐ/ MELY HAJDAN NAGY ÉS KIS HONT VÁRMEGYE/ KEMENCZEI SZÉKHÁZÁT DISZITETTE/ AZ ŐSI IDŐK IRÁNTI KEGYELET JELVÉNYEKÉNT/ ITT ELHELYEZTETETT/ MDCCCLXXXIX.”
Az épület földszinti helyiségei boltívesek, az emeleten mennyezeti stukkóvakolattal és kazettás födémmel díszítettek.
Az impozáns épület oszlopos előcsarnokában, annak dísztermében s a többi helyiségekben történelmünk és kultúránk jeles személyiségei is megfordultak.
A már említett Ferenc József császáron kívül megannyi korábbi és későbbi politikus, közéleti személyiség, akik nevét nehéz lenne itt felsorolni.
Az egykor itt dolgozó hivatalnokok közül is számos személyiség érdemelne említést. Néhány kiemelkedő személyiséget hadd említsünk meg ezen a helyen is! Járt itt például Bartók Béla, Györffy István, Móricz Zsigmond, Mécs László és még sokan mások.
Bartók Béla a XX. század elején több alkalommal is megfordult népzenei gyűjtőúton Hont megyében, kutatva az itt élő magyarok és szlovákok dalait. 1910-ben részt vett a híres ipolysági kanászhangversenyen, s a megyeházon vette fonográfra a honti dudások nótáit.
Az épületben ma a városi hivatal és egyéb járási hivatali kirendeltségek, valamint a Simonyi Lajos Galéria tevékenykedik. Az utóbbi festőművésznek is van emléktáblája a városháza falán, s látható az épületben Bartók portréja is.
