Sajnos, Fegyverneki Ferenc prépost halála után Ság jelentősége is csökkent, a kolostor élete végnapjai felé közeledett. Mindehhez hozzájárultak az országban uralkodó rendezetlen állapotok, illetve a törökök eme országrész felé való előrenyomulása is. A török veszedelem már közvetlenül a mohácsi csata után, 1526. szeptemberében érintette Hont vármegyét is.
A sági kolostort az esztergomi érsek gondjára bízták, aki már 1537-ben tervezte annak erődítését, s ugyanekkor a király is elrendelte az épület erődítménnyé alakítását. Az oszmán birodalom gyors terjeszkedése miatt az Ipoly folyón határvédelmi vonal épült ki. 1543-ban a pozsonyi országgyűlés is jóváhagyta Ság megerősítését, és katonákkal való feltöltését. Az érsek halála után a várkolostor a király fennhatósága alá került, aki 1546-ban törvénybe foglalta a három északi véghely: Ság, Drégely és Pásztó megerősítését. Bár 1550-ben a váci török támadást még visszaveri Jakusich Ferenc sági kapitány, de a védelmi intézkedések nem bizonyultak elegendőnek, stratégiai szempontból a helység így nem játszhatott fontos szerepet.
Egy rövid ideig itt teljesített szolgálatot Thury György (1519-1571), a közeli Középtúrról származó huszárfőlegény, illetve huszártiszt; a nagy törökverő, az európai hírű bajvívó, a kereszténység védelmezője. Vitézségével kitüntette magát Léván, a szalkai viadalban és a palásti csatában. Később Palota várát vigyázta, majd kanizsai kapitány lett, ahol életét áldozta hazájáért és a kereszténységért. Tetteit a kor nagy költője, Zrínyi Miklós is megénekelte. Thury Györgyről egyébként újabban utcát is neveztek el a városban.
Takáts Sándor írta végbeli emberünkről, a nagy Thury Györgyről, hogy ő a „vitézi korszak egyik legnagyobb bajnoka” volt. Nem csoda, hisz ősei már az Árpádok idejében vitézkedtek. A nagyapa, Miklós Mátyás seregében lett „dicsőséges vitéz”. De nagy hadi érdemeket szerzett édesapja is. (1922:43. p.)
1544-ben Tinódi Lantos Sebestyén Az szalkai mezőn való viadalról című históriás énekében a sági vitézekről is megemlékezett, az alábbiakat jegyezve fel róluk:
Jó vitéz Balassa lovára fordula,
Ságból jó legínyök érkösztenek vala,
Az terekek után nagy vígan indula.
A sági „jó legínyök” körében volt Thury György huszárfőlegény is.
Tinódi a közeli Drégely pusztulását bemutató Budai Ali basa históriája című krónikájában még számos közeli őrhelyről, várvédőről esik szó. Közöttük több akadt olyan, ahol Drégelyhez hasonlóan hősiesen kiálltak a hazáért, de előfordult néhány más eset is. Fontos erőssége volt az Ipoly mentének a Nógrád megyei Gyarmat is.
Ám az 1552-es drégelyi csata után a vár kicsi őrsége, akárcsak a sági kis számú katonaság reménytelennek tartotta az Ali basa seregével való szembefordulást. S hiába „lőn” hát Szondi vitézsége „jó dicséretben”, mert – mint Tinódinál olvassuk – „Ságra és Gyarmatra basa elerede,/ De a két kastélba ő egy embert sem lele.” Igaz, 1552-ben maga Szondy György – önfeláldozó küzdelme ellenére – sem győzte megtartani a drégelyi várat Ali pasa több ezres seregével szemben. Nem is csoda hát, ha a sági legénység önnön helyzetét reménytelennek ítélve, a lévai helyőrséghez csatlakozott, a szerzetesek pedig Garamszentbenedekre menekültek. Talán tervezték volna a visszatérést, de Drégely eleste után a sági kolostor épületét az oszmán egységek kirabolták és felgyújtották. Amikor augusztus 9-10-én a keresztény sereg Palást mellett vereséget szenvedett, az újjáépítésre is minden remény elveszett. Ipolyság két időszakban is az Oszmán Birodalom részét képezte, mialatt a sági uradalmat papi személyek igazgatták.
