Γεννήθηκε στη Νικόπολη της Αρμενίας το 454 από τον Εγκράτιο και την Ευφημία και επί βασιλέως Μαρκιανού (450-457).
Μετά τον θάνατο των γονέων του, οικοδόμησε ναό της Υπεραγίας Θεοτόκου και μόναζε εκεί, μαζί με 10 μοναχούς. Λόγω της μεγάλης του αρετής, 28 χρονών, χειροτονήθηκε επίσκοπος Κολωνίας.
Για εννιά χρόνια αφού διευθέτησε τα εκεί εκκλησιαστικά πράγματα, πήγε στα Ιεροσόλυμα και κατέλαβε τη Μονή του Αγίου Σάββα. Εκεί απέκρυψε το αληθινό του αξίωμα και ορίστηκε από τον Άγιο Σάββα σαν υπηρέτης στον ξενώνα και στο μαγειρείο, υπακούοντας με κάθε ταπεινοφροσύνη.
Βλέποντας ο Άγιος Σάββας τη μεγάλη του αρετή, σύστησε στον επίσκοπο Ιεροσολύμων Ηλία, να χειροτονήσει τον Ιωάννη Διάκονο και Πρεσβύτερο.
Τότε ο Ιωάννης, χωρίς να μπορεί να κάνει αλλιώς, φανέρωσε το αξίωμα του και έμεινε στη Λαύρα 12 χρόνια και στη Ρουθά έξι χρόνια.
Κατόπιν πέρασε ασκητικά τα χρόνια του σε διάφορες έρημους για 48 ολόκληρα χρόνια και απεβίωσε ειρηνικά 104 χρονών.
