Nel 1925 Monsignor Angelo Roncalli entrò a servizio diretto della S. Sede. Venne consacrato vescovo il 19 marzo 1925 in S. Carlo al Corso in Roma, e nominato Visitatore Apostolico in Bulgaria.. Soffrì molto per la difficilissima situazione sociale, politica e religiosa di questo paese. Ma con la simpatia, la semplicità, il cuore e l'intelligenza riuscì a conquistare tutti. Basti citare il suo programma nei riguardi degli ortodossi espresso nel suo primo discorso: "Non basta nutrire sentimenti cordiali verso i nostri fratelli separati: se li amate veramente date loro buon esempio e tramutate il vostro amore in azione".
Nel 1934 venne trasferito alla Delegazione apostolica di Turchia e Grecia e nominato Amministratore Apostolico dei Latini di Istanbul. Qui Mons. Roncalli, avvalendosi delle sue prerogative di Delegato Pontificio e dei buoni rapporti col Corpo Diplomatico e coi rappresentanti pontifici dei paesi danubiani, riuscì a rendersi utile, alle comunità ebraiche perseguitate. Nel dicembre del 1944 Pio XII lo nominò Nunzio Apostolico a Parigi dove presentò le credenziali il 1 gennaio 1945. Anche in Francia trovò una situazione difficilissima: sia politica per l'accusa a molti vescovi di aver collaborato coi tedeschi invasori; sia religiosa per la questione dei preti operai. Anche là il suo equilibrio, la sua accortezza, la semplicità e l'amabilità riuscirono a risolvere i problemi e a conquistarsi le simpatie dei francesi e di tutto il Corpo Diplomatico.