Az első népoktatási kísérletek Ipolyságon is a plébánián történhettek, illetve a római katolikus egyházhoz kötődhettek. Hogy ez pontosan mikor és hogyan történt, nem tudjuk. Arról azonban vannak adataink, hogy a város katolikus iskolája a XVIII. század első felében alakult. Hisz ez az időszak volt az újabb fellendülés korszaka a településen: felépült a templom és a jezsuiták gazdasági házainak sora, később a sóház, a posta stb.
Az Esztergomi Főegyházmegye iskoláinak történetét feldolgozó Komlóssy Ferenc azonban megemlíti, hogy ez az iskola még a XIX. század elején is csupán „egy rozzant viskó volt egy tanteremmel”. De azt is nála olvassuk, hogy „A tankötelesek szaporodtával, az ötvenes években, a régi épületet eladták és a parochia tőszomszédságában egy 2 tanteremmel bíró iskolát építtettek”. Ifj. Palugyay Imre kiváló monográfiájában is találunk néhány soros utalást az itteni iskolával kapcsolatban, melyből kiderül, hogy annak „2 osztályában 2 tanító alatt 74 fi és 23 leány, összesen 127 tanuló” taníttatott. (1854)
Mivel azonban a tanulók száma fokozatosan és örvendetesen emelkedett, 1866-ban
„5000 frt kölcsönnel, melyből b. e. Simor János bíboros 600 frtot ajándékozott, a hitközség egy 8 tanteremmel bíró iskola építkezéséhez fogott, mihez később még 1 tantermet csatolt.
Ezen állapotban áll az iskola ma is”. (Komlóssy, 1896)
Azt is olvashatjuk a XIX. század végi összefoglalóban, hogy az épületben „mind a négy tanterem el van látva a szükséges tanszerekkel.” Az iskola és a tanítólakások pedig „jó karban tartottak”; az épület 1 emeletes, cseréppel fedett. A kántor tanitónak volt 3 szobája, 1 konyhája, 1 éléskamrája 1 faszínnel. A főtanítónak ugyanez járt éléskamra nélkül. Az osztálytanítónak pedig 2 szobája, 1 konyhája, 1 kamrája és 1 faszíne volt. A segédtanítót 1 szoba illette. Az iskolának ezen kívül volt könyvtára és „némi szerekkel ellátott” tornahelyisége is. Ebben az időben 291 tankötelest oktattak itt.
Felsorolta Komlóssy Ferenc a tanítókat is. Köztük szerepelt Herczeg Vincze (1860-70), Grubics József (1870-79), Veszelák Ferencz (1870— 77), Ledényi József, Brenner István (1879-93), Juhász Igó (1879-töl) és Jávor B. Lajos főtanító. Az előbbiről azt is megtudhatjuk, hogy a Bars megyei Zsitvaújfaluban született 1854-ben. „Képesittetett 1873-ban Esztergomban”. Jávor B. Lajos pedig Balassagyarmaton született 1864. aug. 26-án, s Losoncon nyert tanképesitőt 1886-ban. Ő később királyi tanfelügyelő lett.
Az iskola utca egy régi képeslapon. Csáky K. repr.
Az iskolában több segédtanító is működött, mint például Vinkovics István, Neumayer Ödön, Stiasznyi Gyula, Dausz Sándor, Kampman Gusztáv, Csernik Gábor, Dausz Ferencz, Gellér Kálmán, Holly István, Brauner Rezső, Juhász Ignác vagy Sipos Mihály, aki ipolysági szülött volt.
Az iskolát tehát – mely 1872-re lett teljes egészében kész, s melyet hosszú időn át elsősorban a katolikus hitközség támogatásával, illetve a városi segéllyel, az alápincézett épület pincebéréből származó bevétellel és a tandíjbevétellel tartottak fenn.
Jó alapokra helyezték, s kiállta az idő próbáját mind pedagógiai szempontból, mind az épület korszerű kivitelezését és stabil statikai állapotát illetően. Együtt volt itt minden: az épületszárnyak által körülhatárolt zárt udvar, a tanítólakások, raktárak, a kornak megfelelő tantermek, a könyvtár és a tornaszoba stb.
Az iskola főhomlokzata a főbejárattal a templomra, illetve az Iskola utcára néz. A homlokzatból kiemelkedik az épület központi része, amely emeletes és héttengelyes, a szinteket elválasztó falsávval. A kétszárnyú főbejárat fa kapuja felett enyhén görbülő ív látható, a felső sáv alatt, a klasszicizáló, nyolcszemes, téglalap alakú ablak felett pedig kiugró faldíszek kaptak helyet.
A főhomlokzathoz kapcsolódó földszintes oldalszárnyak közül a nyugati L alakban követi az utca frontját. Ezt a szárnyat felezi egy újabb bejárat is. Az épület főbejáratának közelében nemrégiben egy emléktáblát helyeztek el a város és Hont megye jeles fiának, Szokolyi Alajosnak, a kiváló olimpikon és sportember tiszteletére, az alábbi szöveggel: „SZOKOLYI ALAJOS/ olimpiai bronzérmes atléta/ 1896 Athén/ 1877-1881 között ezt az iskolát látogatta/ Római Katolikus Népi Alapiskola”.
Hogy ez az iskola valóban büszkesége és ékessége lehetett a városnak, bizonyítja az is, hogy az épületet több korabeli képeslapon is megörökítették.
Az iskola Trianon után is megmaradt magyar tannyelvű katolikus oktatási intézménynek. Működött itt a Vörös Kereszt Ifjúsági Csoportja; volt az intézetben tej- és leveskiosztó akció, mely elsősorban a szegényebb tanulókról gondoskodott.
A Csehszlovákai magyar tanító almanachja az Ipolysági Római Katolikus Elemi Iskola pedagógusai közül az alábbiakat említi: Ambózy Sándor, Cziráky Etelka, Hóbor Viktor, Obrethné Fazekas Margit, Odryné Gyetvay Margit, Kollárovits László, Mészáros Gizella, Skerlecz Lajos.
Sokan közülük részt vettek a közéletben, dolgoztak a város kulturális egyesületeiben.
Skerlecz Lajos igazgató például a szövetkezeti életben tevékenykedett, s oktatott a tanonciskolában is. Hóbor Viktor több egyesületnek is tevékeny tisztségviselője volt, akárcsak Kollárovits László, aki az iskolai könyvtárat is vezette, s rendszeresen publikált értékes helytörténeti írásokat az akkori helyi lapban, A Hétben. Az 1944-ben fiatalon elhunyt Ambrózy Sándor megjárta az első világháború frontjait, s a népszerű kántortanító „járási vitézi hadnagy és tartalékos főhadnagy“ is volt.
Az 1938 utáni időben is tovább működött az iskola. Mint az egyik kiadványban írták: az „egyházközség 8 osztályú elemi iskolát tart fenn, 8 tanerővel, kb. 400 növendékkel”. Volt tehát tanuló elegendő. S tudnunk kell még, hogy ekkor nem csak itt oktatták az iskolaköteleseket, hanem az izraelita elemi iskolában és a leánypolgáriban is.
Az utóbbi indulásakor, 1874-ben épp ebben az épületben kapott helyet, s ennek is ez volt az első otthona. Sajnos, 1945 után mind a magyar, mind az egyházi iskolákat megszüntették. Az épületben azonban továbbra is iskola működött. Hosszabb időn át a Szlovák Tannyelvű Gimnázium, majd később rövidebb ideig a Magyar Tannyelvű Alapiskola alsó tagozatának néhány osztálya, illetve egy szakmunkásképző intézet. Jelenleg az Ipolysági Plébánia otthona az épület, s itt működik a rászoruló nyugdíjasok bentlakásos intézete is.
