Ανάμεσα στα βυζαντινά παρεκκλήσια της Καστοριάς, τα οποία διαθέτει αυτή η ιστορική και μαρτυρική πόλη, υπάρχουν και δυο παρεκκλήσια αφιερωμένα στον Άγιο Αλύπιο τον Κιονίτη εκ της Παφλαγονίας και τον Άγιο Στυλιανό.
Ένα από τα παρεκκλήσια αυτά αποτελεί βυζαντινό οικοδόμημα κτισμένο γύρω στο 1422. Τα τελευταία χρόνια, και συγκεκριμένα επί των ημερών του Σεβασμιωτάτου Μητροπολίτου μας, έχει αποκατασταθεί και ανακαινισθεί εκ βάθρων, με την αμέριστη φροντίδα της οικογενείας Τσούκα, αλλά και την επίβλεψη της 16ης Ε.Β.Α.
Σε αυτό το βυζαντινό παρεκκλήσιο εδώ και 22 χρόνια πλέον, αποτελεί παράδοση να χοροστάτει ο Σεπτός Ποιμενάρχης μας στον Πανηγυρικό Εσπερινό με τη συμμετοχή πλήθους ευλαβών χριστιανών, ενώ την κυριώνυμο ημέρα προεξάρχει της Θείας Λειτουργίας.
Η παράδοση αυτή τηρήθηκε και φέτος. Με λαμπρότητα τιμήθηκε η μνήμη των Αγίων κατά τον Πανηγυρικό Εσπερινό, στο τέλος του οποίου ο Σεβασμιώτατος κήρυξε το θείο λόγο αναλύοντας το θέμα « Γιατί τιμούμε τους Αγίους», και ευχήθηκε στους πιστούς να έχουν την ευλογία των Αγίων Αλυπίου και Στυλιανού.
Την επομένη, στο ίδιο Ιερό Παρεκκλήσιο, τελέστηκε Αρχιερατική Θεία Λειτουργία, ιερουργούντος του Μητροπολίτου μας, με τη συμμετοχή των Ιερέων του Μητροπολιτικού Ναού και πλήθος πιστών. Στο σύντομο λόγο του ο Σεβασμιώτατος αναφέρθηκε στη σημασία και τη φύση της αγάπης των Αγίων.
Αυτές οι Θείες Λειτουργίες ομοιάζουν με εκείνες που αναφέρει ο άγιος των ελληνικών γραμμάτων, Αλέξανδρος Παπαδιαμάντης, στα διηγήματα του.
Ένιωθε κανείς ότι ακόμη και η Παναγία, η κυρά Ελεούσα, που δεσπόζει στο Ιερό Παρεκκλήσιο, συνέψαλλε με τον ευλογημένο λαό του Θεού το Κοντάκιο «Η Παρθένος σήμερον τον προαιώνιον λόγον», και να προετοιμάζει τα παιδιά της για την μεγάλη εορτή της Γεννήσεως του Υιού της και Σωτήρος ημών Ιησού Χριστού.
Καθ’ όλη τη διάρκεια των πανηγυρικών ακολουθιών οι πιστοί είχαν την ευκαιρία να προσκυνήσουν τεμάχιο του Ιερού Λειψάνου του Αγίου Στυλιανού, το οποίο φυλάσσεται ως πολύτιμη 
