Il 28 ottobre 1958 a 77 anni, con sorpresa di tutti per la sua avanzata età, Roncalli venne eletto Papa e assunse il nome di suo padre, del patrono del suo paese natale e dell'evangelista della carità: Giovanni. Iniziò subito un modo nuovo di fare il Papa mosso dalla sua fede e dal suo felice temperamento.
A nemmeno due mesi dalla sua elezione diede l'esempio di praticare le opere di misericordia corporali: a Natale visitò i bambini ammalati agli ospedali Santo Spirito e del Bambin Gesù, ed il giorno seguente andò a trovare i detenuti del carcere romano di Regina Coeli.
Tre mesi dopo la sua elezione il 25 gennaio 1959 nella Basilica di S. Paolo fuori le Mura, tra la generale sorpresa, annunciò il XXI Concilio Ecumenico che sarà poi chiamato Vaticano II, il I Sinodo della Diocesi di Roma e la revisione del Codice di Diritto Canonico. Durante il suo pontificato,in tre Concistori, nominò 37 nuovi cardinali tra cui, per la prima volta, un tanzaniano, un giapponese, un filippino e un messicano. Fu il primo Papa, dopo il 1870, che esercitò anche direttamente il suo ministero di Vescovo di Roma andando personalmente a visitare le parrocchie.