Το κτηριακό συγκρότημα του Μονυδρίου, Μετοχίου της Μονής Χοζοβιώτισσας, περιλαμβάνει ναό, ο οποίος πιθανότατα ξεκίνησε ως μονόκλιτη βασιλική πρώιμης Χριστιανικής περιόδου, και εν συνεχεία, κατά τον 16ο αι., εξελίχθηκε σε τρίκλιτη καμαροσκεπή βασιλική με νάρθηκα στα δυτικά. Ο χωρισμός των κλιτών γίνεται με πεσσούς στους οποίους βαίνουν τόξα. Στην τοιχοποιία είναι εντοιχισμένα μαρμάρινα αρχιτεκτονικά μέλη Βυζαντινής περιόδου, καθώς και εγχάρακτες επιγραφές που πληροφορούν για διαδοχικές ανακαινίσεις το 1688, 1796 και 1799. Σύμφωνα με αυτές, διαφαίνεται ότι, τουλάχιστον τον 18ο αιώνα, κατοικούσαν εδώ μοναχές. Στο δάπεδο του ναού αποδίδεται ανάγλυφος δικέφαλος αετός.

Το εσωτερικό του ναού διακοσμείται με τοιχογραφίες Μεταβυζαντινής περιόδου (17ου-18ου αι.). Στους πεσσούς του Ιερού Βήματος παριστάνονται η Παναγία η Καρδιώτισσα και ένας Ιεράρχης.
Στον Άγιο Γεώργιο Βαλσαμίτη υπήρχε υδρομαντείο η λειτουργία του οποίου διακόπηκε οριστικά το 1967. Το υδρομαντείο, η λαλούσα πηγή, ήταν φημισμένο σέ όλες τις Κυκλάδες. Στην πηγή που ανέβλυζε, απέδιδαν μαντική δύναμη. Πριν την Επανάσταση του 1821, η πηγή έχαιρε μεγίστου σεβασμού από όλους τους κατοίκους των Κυκλάδων, οι οποίοι επισκέπτονταν τον ναό, κυρίως οι ναυτικοί, και μάλιστα όσοι επρόκειτο να ταξιδέψουν στη Μαύρη Θάλασσα, σε περιόδους κατά τις οποίες τα ταξίδια πέραν των ακτών και των βουνών της πατρίδας θεωρούνταν πράξεις ζωής, λόγω της μεγάλης επικινδυνότητας που παρουσίαζαν, οφειλόμενης, κυρίως, στην αυξημένη πειρατεία.
Εξαιρετικά δημοφιλές υπήρξε το υδρομαντείο και στα χρόνια της Επανάστασης, λόγω της αύξησης του κινδύνου στις θάλασσες. Η κυβέρνηση Καποδίστρια έδωσε διαταγή να σταματήσει η λειτουργία του, χωρίς, ωστόσο, η διαταγή να εκτελεσθεί. Τον 19ο αι. το υδρομαντείο εξακολουθεί να λειτουργεί, αλλά έχει πλέον χάσει τη δημοφιλία του. Αναφέρεται, δε, σαφώς, ότι οι χρησμοί δεν δίνονται επί αμοιβής.

Περιηγητές των προηγούμενων αιώνων, αναφέρουν το υδρομαντείο ως ευρισκόμενο «εν ακμή και πλήρει λειτουργία», με πρώτη αναφορά το έτος 1651 από τον Ιησουίτη Αββά Fr. Richard. Ακολουθούν οι Sauger το 1698, J.P. de Tournefort το 1700, ο Ρώσος Αρχιμανδρίτης Vasily Grigoryevich Grigorovich-Barsky το 1723, Charles-Nicolas-Sigisbert Sonnini de Manoncourt το 1777 και L. Ross το 1841, οι οποίοι περιγράφουν λεπτομερώς τη διαδικασία της πηγομαντείας.

Σχετικά με την ίδρυση του ναού και την ιερή διάσταση του αναβλύζοντος ύδατος, ο Bent, επισκεπτόμενος τον ναό στα τέλη του 19ου αι., μας μεταφέρει διήγηση σύγχρονού του ιερέα, του παπα-Ανατόλιου, σύμφωνα με την οποία, αιώνες πριν, λεπροί ήρθαν εδώ, πλύθηκαν με το νερό της πηγής και θεραπεύθηκαν. Κατόπιν, σκάβοντας, βρήκαν την εικόνα του Αγίου Γεωργίου. Πρόκειται για φορητή κυπριακή εικόνα του Αγίου Γεωργίου του Βαλσαμίτη, χρονολογούμενη στο β’ μισό του 14ου αι., που βρίσκεται στο Καθολικό της Μονής Χοζοβιώτισσας και λιτανεύεται κάθε χρόνο, ολόκληρη την Εβδομάδα της Διακαινησίμου, έως την Κυριακή του Θωμά, μαζί με τη θαυματουργή εικόνα της Παναγίας Χοζοβιώτισσας.

Σύμφωνα με τον Μηλιαράκη, στη θέση αυτή όπου αναβλύζουν ύδατα, πιθανότατα υπήρχε κατά την αρχαιότητα άλσος και χρηστήριο πηγομαντείας. Ο ίδιος επισημαίνει ότι καθ΄ όλο το μήκος της οδού προς τον ναό υπήρχαν ξύλινοι σταυροί τοποθετημένοι σε κορυφές παροδίων βράχων ή σε φυσικά κοιλώματα. Σύμφωνα μάλιστα με μαρτυρίες συγχρόνων του, σε προγενέστερες εποχές οι σταυροί αυτοί ήταν σιδερένιοι, και, πιθανότατα, αντικατέστησαν αρχαία αγαλμάτια θεών ή και βωμούς ενοδίων θεοτήτων.

Η μαντική πηγή βρισκόταν στον νότιο τοίχο του ναού, ο οποίος αποτελείται από τον βράχο του βουνού πάνω στον οποίο κτίσθηκε ο ναός. Εδώ ανεγέρθηκε τετράγωνο κουβούκλιο, λιθόκτιστο, εν είδει ναΐσκου, στεφόμενο προς τα άνω, με μικρές αψιδωτές θυρίδες. Στη βάση του, με επιφάνεια μικρότερη του ενός τετραγωνικού μέτρου, υπήρχε τοποθετημένη πήλινη υδρία χωρίς πυθμένα, στο στόμιο της οποίας ήταν τοποθετημένη διάτρητη μαρμάρινη πλάκα, με μαρμάρινο κινητό επιστόμιο. Η υδρία αυτή γέμιζε με καθαρό, πόσιμο νερό που ανέβλυζε από τον βράχο και τη γέμιζε. Μέσα στο κουβούκλιο δεν υπήρχε επαρκής φωτισμός, και χρειαζόταν κερί για να δει κανείς το νερό. Σύμφωνα με τον Μηλιαράκη, το 1883, ο πιστός που προσερχόταν στο υδρομαντείο, ζητούσε από τον ιερέα να ανοίξει τόσα αγιάσματα όσα ήταν και τα ερωτήματα που θα υπέβαλε. Μετά την υποβολή του ερωτήματος, ο ιερέας, φορώντας το πετραχήλι του, διάβαζε ευχή προς τον Άγιο Γεώργιο και στη συνέχεια, με ένα ποτήρι αντλούσε ύδωρ από την υδρία, το εξέταζε, επιδεικνύοντάς το και προς τον ερωτώντα, και ερμήνευε τα σημεία του ύδατος, δίνοντας απαντήσεις με αόριστες και γενικές εκφράσεις. Αν και η διαύγεια του ύδατος ήταν ευοίωνο σημάδι για τον ερωτώντα, απαραίτητο ήταν να ερμηνευτούν και όσα ξένα σώματα είχαν παρεισφρήσει στο ποτήρι: σκόνες, υδρόβια έντομα, τρίχες ή φυλλαράκια ξερά. Ανήμερα το Πάσχα άνοιγαν την υδρία, και, εάν ήταν γεμάτη νερό, προμηνύετο έτος εύφορο και ευτυχές, εάν ήταν κενή, άγονο και δυστυχές.