Am 28. Oktober 1958 wurde Roncalli, der schon 77 Jahre alt war, mit großer Überraschung zum Papst gewählt. Er übernahm den Namen seines Vaters, der auch der Name vom Patron seines Geburtsortes ist, sowie des Evangelisten der Barmherzigkeit: Giovanni(Johannes).Gleich zu Beginn versuchte er eine neue Art Papst zu sein, dank seines Glaubens und seines fröhlichen Temperaments.
Nach kaum zwei Monaten Pontifikat gab er das Beispiel ,wie man mit Taten Barmherzigkeit ausüben kann: Weinachten besuchte er die kranken Kinder der Krankenhäuser „Santo Spirito und Bambin Gesù" und am folgenden Tag besuchte er die Häftlinge im Römischen Gefängnis „Regina Coeli".
Nach 3 Monaten seiner Wahl, am 25. Januar 1959,verkündete er in der Basilika „San Paolo fuori le mura" überraschend , den Anfang des „XXI ökumenischen Konzils" der später „Vatican II" genannt wurde. Während seines Pontifikats, in drei Konzile, ernannte der Papst 37 neue Kardinäle, darunter, einen Tanzanier, einen Japaner, einen Phillipiner und einen Mexikaner.
Er war der erste Papst der nach 1870 seine Aufgabe als Bischof von Rom ausübte, da er oft die Pfarrhäuser von Rom besuchte.