Stelmužės medinė, be vinių suręsta Šv. Kryžiaus bažnytėlė pastatyta 1650 m. dvaro valdytojo Folkerzambo. Pradžioje ji buvo kalvinų bažnyčia, Ilukštės (Latvija) bažnyčios filija, nuo 1808 m. – katalikų. 1880 m. labai apleistas bažnyčios pastatas suremontuotas. Klasicizmo bruožų turinčiame pastate dominuoja medinis altorius su Nukryžiuotoju ir medžio drožyba puošta sakykla. Altoriaus kompozicijoje vyrauja skulptūrinis dekoras. Jame daug augalinių, figūrinių motyvų, reljefų ir apvaliųjų skulptūrų. Sakyklos viršus ir apačia puošta akanto drožinių juostomis, tarp jų išdėstyti dvylikos apaštalų bareljefai. Įspūdingai atrodo virš sakyklos iškeltas stogelis, kuris grąžintas cherubinais ir dekoratyviniais akanto lapais. Kai kurios skulptūros padarytos 1713 m. Venstpilio medžio drožybos meistrų. Vakarinėje šventoriaus dalyje yra darnių proporcijų varpinė, statyta XVII a. viduryje. Pietvakarinėje dalyje ji vienaaukštė, šiaurės rytinėje – dviaukštė. 1873 m. varpinė rekonstruota. Stelmužės parke auga ir garsusis Stelmužės ąžuolas, skaičiuojantis antrąjį tūkstantmetį. Parko pakraštyje stūkso XVIII a. statytas “Vergų bokštas”. Tai nedidelis, keturkampis netašytų lauko akmenų pastatas su angomis viršutinėje dalyje. Jame baudžiavos laikais buvo uždaromas prasikaltęs baudžiauninkas.