在1958年10月28日他當選了教宗,當時77歲高齡,為民眾一個莫大的驚喜,他取用父親的名字,也是他出生地方的主保,亦是代表愛德的使者:若望。他開始了一位教宗的新典範,他溫良的性格感動他的信徒們。當選以後兩個月,他一直表現出仁愛者的風範:在聖誕節當天,他探訪羅馬聖神醫院和耶穌聖嬰醫院 (ospedali "Santo Spirito" and "Bambino Gesù") 的患病兒童,翌
日,他去羅馬監獄"Regina Coeli"探望囚犯。三個月後, 1959年1月25日在聖保祿城外教堂,宣布召開《第二次梵蒂岡大公會議》,與及《第一次羅馬教區會議》和修訂《教會法則》。在他的履行教宗職分期間,在三個《樞機主教會議》中,他一共任命了37位新的樞機主教,其中多個國家首次出現樞
機主教:一位坦桑尼亞藉,一位日本藉,一位菲律賓藉和一位墨西哥藉。自1870年之後,他是第一位教宗,直接 掌管羅馬主教之職,並親自四出到訪各地區教堂的最高牧者。