Akik egy kicsit is ismerik e felvidéki városka történelmét, bizonyára hallottak valamit a megye hajdani főorvosáról, az itteni kórház alapítójáról és igazgatójáról, a közéletben is jeleskedő értelmiségi emberről, a kaszinó és az iskolák támogatójáról-mecénásáról, dr. Kovács Sebestény Endréről. Híre egyébként szakmai körökben túllépte a régió határát is, hiszen mint orvost, országos viszonylatban ugyancsak számon tartották.
Kovács Sebestény Endre 1861. január 5-én született Ipolypásztón jó hírű református családban. Nagybátyja volt a hasonló nevű országos ismertségű sebészorvos, idősebb dr. Kovács Sebestény Endre, a Magyar Tudományos Akadémia levelező tagja, szellemi életünk olyan ismert személyiségeinek, mint Arany János, Madách Imre vagy Deák Ferenc kezelőorvosa. A fiatalabb Endre bár nem lett ennyire híres, tevékenységével ő elsősorban a szülőföldet, annak egészségügyi és szellemi emelkedését szolgálta.
Egyetemi tanulmányainak befejezése után mint „utazó ösztöndíjas” kiváló berlini, párizsi és bécsi professzoroknál bővíthette szakmai tudását. 1889-ben tért vissza szülőmegyéjébe, ahol mint tiszti főorvos nyomban komoly munkához látott. Ismereteit nagyszerűen kamatoztatva, mindenekelőtt sebészként szerzett ő is elévülhetetlen érdemeket, de sikeresen járt el a járványos betegségek és a tébécé gyógyítása terén is. Munkájára felfigyeltek a főváros ismert orvosprofesszorai is. A szakmai berkekben szintén tekintélyt szerzett főorvost így az Országos Közegészségügyi Tanács rendkívüli tagjává és a Magyar Sebésztársaság Igazgatói Tanácsának vidéki tagjává nevezték ki.
Hont megye főorvosa a millenniumi ünnepségek alkalmával széles körű gyűjtést szervezett az ipolysági kórház építésére. Igaz, hogy a városban már 1835-től volt kórház, pontosabban egy ispotálynak nevezett menhelyféleség, melyet még Király János itteni plébános alapított. Majd a Homok városrészen épült fel 1875-ben egy újabb kórház, ám ez „híján volt minden célszerűségnek”.
Dr. Kovács Sebestény Endre mint szervező is sikeres volt, kórházalapítói kezdeményezése eredménnyel járt: 1900 őszén átadhatták Ipolyságon a 32 ágyas, kétpavilonos, fürdőszobákkal, vízvezetékkel, erogén-világítással ellátott új kórházat, amely a megyeszékhely büszkesége volt akkor. Hont megye közegészségügyi viszonyai ennek is köszönhetően aztán országos méretekben ugyancsak a legjobbak lettek.
A főorvosnak azonban a gyógyításon kívül is sokat köszönhetett a megyeszékhely. Egyebek közt a városka „csinosodását”, a közvilágítás korszerűsítését, az utak portalanítását, a Honti Atlétikai Klub megalakulását stb. A tehetséges sebész gondnoka volt a polgári leányiskola iskolaszékének, elnöke a kaszinó könyvtárbizottságának, levelezője a helyi lapoknak, szorgalmazója a főgimnázium „felállításának”. Szokolyi Alajos mellett a kultúra másik nagy mecénásának tartották őt.
1915-ben sokakat megdöbbentett az orvos hirtelen halála, melyet épp egy gyógyítás közben kapott fertőzés okozott. Az ipolysági temetőben nagy tömeg kísérte őt utolsó útjára. Síremléke ma is ott áll a temetőkápolna közelében. A magas sötétszürke obeliszken látható az orvos arcának reliefes ábrázolása, alatta ezzel a szöveggel: „Dr, KOVÁCS SEBESTÉNY/ ENDRE/ hontvármegye tiszti főorvosa/ kórházigazgató / 1861-1915// Dr. KOVÁCS SEBESTÉNY/ ENDRÉNÉ/ szül. BRINKMANN MÁRIA/ 1866-1942”.
Van emléke a főorvosnak a mai kórház udvarán is. Egy magas szürke oszlopon látható bronz fejszobra, alatta a neve, lent pedig ez a kétnyelvű felirat:” A kórház alapítója és első igazgatója”. Az egykori zsinagóga udvarán kialakított emlékfal táblái közt az övé is látható. Rajta ezt a háromnyelvű (magyar, szlovák, angol) szöveget olvashatjuk: „Dr. KOVÁCS SEBESTÉNY ENDRE/ 1861-1915/ Az ipolysági kórház alapítója és első igazgatója/ August 2004”