El 28 de octubre de 1958, contando con 77 años, Roncalli fue elegido Papa ante la sorpresa de todo el mundo a causa de su avanzada edad. Escogió el nombre de Juan, nombre de su padre, del patrón de su pueblo natal y del evangelista de la caridad. En seguida empezó una nueva forma de hacer de Papa, movido por su fe y por su temperamento alegre.
Al cabo de dos meses de haber sido elegido, dió ejemplo de obras de misericordia: por Navidad visitó los niños enfermos de los hospitales Espíritu Santo y Niño Jesús; al día siguiente fue a visitar los prisioneros de la cárcel Regina Coeli.
Tres meses después de su elección, el 25 de enero de 1959, en la Basílica de San Pablo Extramuros, ante la sorpresa de todo el mundo anunció el XXI Concilio Ecuménico -que posteriormente fue llamado Concilio Vaticano II-, el I Sínode de la Diócesis de Roma y la revisión del Código de Derecho Canónico. Durante su Pontificado nombró 37 nuevos cardenales, entre los cuales por primera vez uno de Tanzania, un japonés, un filipino y un mejicano. Fue el primer Papa, desde 1870, que ejerció su ministerio de obispo de Roma visitando personalmente las parroquias de su Diócesis.