Siendo aún muy joven se sintió llamado a vivir en la soledad del desierto; se retira al monte Sinaí y cuentan que se puso bajo la tutela de Martirio, haciéndose discípulo suyo y viviendo en su compañía durante cuatro años. Muerto su maestro, se hace monje cuando es el abad Stratego que aprecia sus virtudes e intuye que será en el futuro un gran pilar para la Iglesia; por ese tiempo, ya comienzan a conocerle como «El escolástico» quizá por su asiduo estudio de la Sagrada Escritura y de los Santos Padres. El monasterio no es construcción de una sola pieza arquitectónica; son muchas celdas independientes, una para cada monje; se puede decir que todo el monte es monasterio y el abad es como el archimandrita. La celda de Juan se llama Thole; está situada al pie de la montaña, junto a la ermita de la Virgen que mandó construir Justiniano. Allí vive durante 40 años de retiro ejemplar, dedicado a rigurosa penitencia y en la intimidad con Dios hasta el punto de ser gritado entre quienes le conocen «el Ángel del Desierto». ¡Y no porque la vida le sea fácil! Soporta tentaciones y algunas son muy violentas, teniendo que utilizar todos los medios humanos y sobrenaturales para salir victorioso en la lucha.
La oración intensa le lleva a gran familiaridad con Dios que deja descrita en su libro La Escala.
«Esta oración –escribe en La Escalera santa– consiste en tener el alma por objeto a Dios en todos sus ejercicios, en todos sus pensamientos, en todas sus palabras, en todos sus movimientos, en todos sus pasos; en no hacer cosa que no sea con fervor interior, y como quien tiene a Dios presente». Con profundidad y sencillez, a la vez, describe el progreso de la vida espiritual del hombre hacia el encuentro con el Absoluto, recorriendo treinta grados o escalones; expone su enseñanza empleando ideas abreviadas, apenas apuntadas y comprimidas en sentencias: «Los hombres pueden sanar a los voluptuosos, los ángeles a los malvados, pero a los soberbios solamente Dios». También dejó otro tratadito pequeño que se conoce como Carta al Pastor
Juan muestra un gran amor a la soledad pero, como suele ser frecuente en los hombres de Dios, nunca estuvo solo; la gente le busca con verdadero deseo de ver, saber y entender por más que a él se le haga cada vez menos apreciado el trato con los demás hombres. Siendo uno más, es un místico en cuya vida se producen –según cuentan los mentores de su vida– fenómenos sobrenaturales que le llevan al arrobamiento de permanecer levantado sobre la tierra con frecuentes levitaciones y, algunas veces, dicen que lo contemplaron entrado en éxtasis, adelantando el disfrute del Cielo.
Lo eligieron abad del Sinaí, llegando a irradiar santidad al resto de los ermitaños; muestra una preocupación exquisita con los peregrinos y extraños, y –por caridad– construye un hospital para la atención de los enfermos y de los que están extenuados. Así, con obras y palabras, ejerció un influjo muy notable en la espiritualidad tanto de Oriente como de Occidente.