Nie sposób zapomnieć o starym, ostrowskim cmentarzu, najstarszej obecnie nekropolii na terenie miasta, która decyzją wojewody opolskiego została w 1960 roku zamknięta dla czynienia pochówków, a trzynaście lat później, tym razem decyzją Wydziału Kultury Prezydium Wojewódzkiej Rady Narodowej w Opolu, wpisana do rejestru zabytków. W ostatnich latach teren cmentarza został uporządkowany, co pozwoliło pokazać w pełni zachowane jeszcze przepiękne zabytki sztuki sepulkralnej.
Nekropolia zajmuje około 1,5 ha powierzchni. Chowano na niej parafian różnej narodowości. Występujące na nagrobkach inskrypcje są pisane w językach: niemieckim, polskim i łacińskim. Na jej terenie stał niegdyś drewniany kościół Św. Jana przeniesiony potem do Zawady Książęcej. Na pamiątkę, w miejscu starej świątyni, wzniesiono potem drewnianą neogotycką kaplicę cmentarną z cechami budownictwa ludowego. Wewnątrz niej znajduje się prosty, ceglany, otynkowany ołtarz z niewielką nastawną szafką spełniającą funkcje tabernakulum. Kaplica została odnowiona w 1993 roku.
Istnienie cmentarza jest potwierdzone źródłowo już w XVIII wieku, ale na pewno istniał on dużo wcześniej, zapewne jako nekropolia przykościelna od momentów wybudowania pierwszego kościoła Św. Jana. Ks. Augustyn Weltzel w swojej historii Ostroga, podaje, że podczas strzelania na Płonii, w 1766 roku, został trafiony niejaki Franciszek Heber z miasta, w wyniku czego nieszczęśnik zmarł i już następnego dnia został pochowany “na cmentarzu św. Jana”. Druga wzmianka pochodzi z 1789 roku, kiedy to odszedł z tego świata kustosz kapituły kolegiackiej Klemens Ignacy Kromer, były dziekan z Hulczyna. Został on pogrzebany “na cmentarzu św. Jana”.
Jednym z najstarszych zachowanych do dziś obiektów jest przyścienny nagrobek franciszkanina Silveriusa Gomońskiego z 1839 roku, wydalonego ze zgromadzenia za naruszenie zasad zakonnych, pochowany przez to – ku pohańbieniu jego czynu – przy kościelnym murze. Warto zwiedzić cały cmentarz, bo zachowało się tu sporo ciekawych XIX-wiecznych nagrobków. Znaczna ich część jest reprezentowana przez często spotykane na Górnym Śląsku nagrobki wolnostojące w kształcie krzyży. Niektóre z nich są ogrodzone metalowym płotkiem z kutej kraty, z charakterystycznymi motywami ornamentyki nawiązującej do zdobnictwa neogotyckiego. Zachowały się także nieliczne, metalowe ażurowe krzyże, na których znajdują się przedstawienia figuralne w postaci wypukłorzeźb bez inskrypcji ze scenami opłakiwania ukrzyżowanego Chrystusa.
Spośród wszystkich zabytków wyróżnia się monumentalny nagrobek rodziny Kokeš & Jungblut. Na frontowych ścianach ma on rzeźbione wieńce z szarfami, zaś na bocznych kolumnach postacie świętego Józefa i świętej Elżbiety z małym Janem Chrzcicielem. Część środkową wypełnia figura koronowanej Matki Boskiej z berłem w prawej i postacią Jezusa na lewej ręce. Ciekawostką są dobrze zachowane nagrobki przyścienne z elementami neogotyckimi i polichromowanymi obrazami. Jeden z nich, z 1913 roku, a należący do rodziny Sławik przedstawia scenę ogrójca. Drugi, z 1918 roku, a należący do rodziny Grzonka przedstawia sąd Piłata nad Chrystusem.
W części zachodniej cmentarza znajduje się kaplica grobowa p.w. Św. Jana Nepomucena z kryptą z 1845 roku, w której złożono doczesne szczątki pierwszego proboszcza Andrzeja Kubiczka (1774-1845). Od południa widoczna jest wybudowana w stylu eklektycznym brama, obecnie już nieczynna.
Ciekawym zabytkiem jest także cmentarz przykościelny, który powstał pod koniec XIX wieku. W 1895 roku przystąpiono, z fundacji mieszkańców Ostroga, Bosacza i Płoni, do budowy okalającego go ogrodzenia. Wykonano je z muru ceglanego z kutą kratą. Całość nawiązuje do neogotyckiego stylu całego kościoła. Słupy mają formę małych kapliczek, w których znajdują się ostrołukowe, oszklone wnęki zdobione polichromowanymi figuralnymi przedstawieniami scen z życia Jezusa i Matki Boskiej oraz droga krzyżowa.
Na całej długości występują inskrypcje z wyrytymi nazwiskami fundatorów. Całość ogrodzenia stanowi zamknięty cykl. Znajdują się tu dwie identyczne bramy z furtkami, jedna od ul. Armii Krajowej, druga od ulicy Morawskiej oraz dwie kaplice: Ogrójca i Grobu Pańskiego.
Kaplica ogrójcowa, znajdująca się w pobliżu plebani, zbudowana została w latach 1895-96. Pod nią jest krypta grobowa fundatorów – rodziny Wiehle i Raczek. Kompozycja wnętrza nawiązuje do wyobrażenia ogrójca. Są tu polichromowane figury naturalnej wielkości przedstawiające postać klęczącego Chrystusa na górze oliwnej i anioła przyjmującego z jego rąk kielich ofiarny. Wśród skał ukazano postacie uczniów śpiących na tle Jerozolimy.
Cmentarna kaplica grobu pańskiego zbudowana została w tym samym okresie co poprzednia, również na planie kwadratu z niewielkim przedsionkiem w stylu neogotyckim oraz z wieżyczką. Wnętrze urządzono w formie groty grobu pańskiego z postacią zmarłego Chrystusa i czuwającymi poniżej dwoma aniołami. W latach 20. XX wieku umieszczono tu tablicę pamiątkową z inskrypcją: “1914-1918. Zmarli śmiercią bohaterską z naszej parafii”.