La papauté, qui s'était établie sur la lisière du royaume de France, en Avignon, justifiait cet exil, qu'elle qualifiait de provisoire, en affirmant qu'il lui fallait rétablir l'ordre dans la péninsule avant de retourner à Rome. Le légat Bertrand du Pouget, chargé de la besogne, s'en acquittait depuis deux ans avec une rudesse qui lui valait de féroces inimitiés, lorsque Louis de Bavière, enfin maître chez lui, entreprit de faire valoir ses droits en Italie ; ses envoyés prirent langue avec les Milanais ; ils se posèrent en vicaires du roi des Romains et ne tardèrent pas à se heurter aux représentants du pape. Ce conflit soulevait une question de principe : le pape prétendait que c'était lui le vicaire de l'empire en Italie pendant la vacance du trône impérial. Or, aux yeux de Jean XXII le trône était vacant puisque la désignation de Louis de Bavière n'avait pas obtenu l'approbation pontificale. Le 8 octobre 1323, le pape déclara que le « Bavarois » avait usurpé les droits dont il faisait usage ; s'il n'y renonçait pas dans les trois mois, il serait excommunié ; en attendant, le vicariat d'empire en Italie reviendrait au roi de Naples, Robert d'Anjou. Cet ultimatum ouvrit une querelle qui devait durer près d'un quart de siècle. Le souverain pontife était d'autant plus sourcilleux que Rome n'étant plus dans Rome, il fallait faire comprendre au monde chrétien que ce changement de résidence n'affectait aucunement l'autorité du successeur de Pierre. Jean XXII avait un caractère qui ne le prédisposait pas aux accommodements ; excellent juriste, il entendait faire appliquer jusqu'au plus petit iota les textes canoniques. Louis n'était pas moins résolu que le pape à défendre ce qui était à son sens l'honneur de l'empire. Loin de se soumettre, il riposta: trois « appellations » furent publiées, entre décembre 1323 et mai 1324 ; destinées en principe au pape, elles s'adressaient également à tous ceux qui en Allemagne, dans les villes surtout, étaient capables de discerner les enjeux du débat. Le 14 juillet 1324, Jean XXII déposa Louis de Bavière, préalablement excommunié le 23 mars. Louis de Bavière résista d'autant plus vigoureusement au pape qu'il le savait vulnérable. La politique autoritaire du Saint-Siège lui suscitait des ennemis ; la centralisation, pratiquée de plus en plus systématiquement parce qu'elle justifiait la levée des annates, mécontentait les collateurs ordinaires dont elle rognait les prérogatives et poussait à bout les contribuables impitoyablement tondus. Le luxe de la cour, dont l'installation en Avignon était coûteuse, irritait les chrétiens qui prenaient les conseils évangéliques au sérieux et ils étaient nombreux dans la mouvance des Mendiants. La fraction de l'ordre franciscain qui prônait une pauvreté radicale était profondément scandalisée par la richesse des dignitaires ecclésiastiques ; certains de ces «Spirituels» professèrent le joachimisme qui annonçait l'irruption d'une ère nouvelle. Condamnés par la papauté, persécutés à l'intérieur de leur famille religieuse, ils pouvaient penser qu'ils étaient seuls à être marginalisés ; or, en 1323, ils eurent la surprise de voir la majorité de leurs confrères, ministre général en tête, les rejoindre dans l'opposition au pape: celui-ci venait de condamner une opinion partagée par la plupart des franciscains : la pauvreté personnelle du Christ. En promulguant ce texte Jean XXII s'était fait des adversaires dans toute la chrétienté ; des théologiens de talent, tel Guillaume d'Occam, étaient du nombre. Louis comprit qu'il avait à portée de main une arme assez tranchante pour blesser gravement le pape. Il accueillit les franciscains en rupture de ban auxquels se joignit Marsile de Padoue dont l'oeuvre maîtresse, le Defensor pacis, subordonnait le pouvoir spirituel au temporel. Conseillé par cet état-major, révolutionnaire à sa façon, Louis se rendit à Rome; au Capitole, il mit en scène un couronnement inédit: Sciarra Colonna, qui représentait le peuple romain, posa le diadème sur le front du souverain et un franciscain fut élu pape aux acclamations de la foule ; le 17 janvier 1328, cet antipape, Nicolas V, accomplit les rites du sacre à Saint-Pierre du Vatican. Le triomphe de l'empereur n'était qu'apparent: il ne put pas mettre à la raison Robert d'Anjou ; partout, les guelfes s'agitaient ; Nicolas V lui-même, pris de peur, s'en alla faire pénitence en Avignon. Louis de Bavière refranchit les Alpes en février 1330. L’heure de la révolution victorieuse n'avait pas sonné ; la cuirasse de la papauté restait solide. Louis de Bavière se mit en quête d'une solution négociée. Les négociations furent engagées dès 1330 mais en 1337, elles restaient infructueuses. Les points de vue étaient trop éloignés : Louis voulait bien reconnaître ses fautes, mais il refusait catégoriquement de faire dépendre l'exercice de son pouvoir de l'approbation du Saint-Siège ; or le Saint-Siège maintenait cette exigence. Benoît XII, qui succéda en 1334 à Jean XXII, ne se montra pas moins intraitable que son prédécesseur même si dans les formes il était plus souple. Aux divergences de fond venaient s'ajouter les lenteurs d'une procédure canonique extrêmement complexe.

En 1338, Louis changea de ton ; il sentait que la papauté devenait impopulaire dans le pays. Le 17 mai 1338, Louis lança la manifeste Fidem catholicam: il y proclamait que l'empereur occupait un rang aussi élevé que le pape, qu'il tenait son mandat de ses électeurs et qu'il n'avait nul besoin de l'approbation pontificale pour remplir sa mission ; enfin, il soutenait qu'un vrai concile représentant l'Église universelle était supérieur aux assemblées que le pape faisait et défaisait à son gré. Le 16 juillet, les électeurs réunis à Rhense accomplirent un geste d'une portée considérable : pour la première fois, ils agissaient en corps, non pas pour élire ou déposer un souverain, mais pour préserver les intérêts de l'empire, dont ils se prétendaient les représentants. Or, en l'occurrence, ils adoptèrent le point de vue de Louis et déclarèrent que l'élection suffisait pour faire le souverain légitime de celui que leur vote avait désigné. Le 4 août la constitution Licet juris affirma la même chose, au nom de l'empereur cette fois. Enfin, le 5 septembre à Coblence, au cours d'une diète solennelle, Louis fit d'Édouard VII avec lequel il venait de s'allier contre la France et qui était présent à ses côtés son vicaire pour l'empire. Jamais sans doute les positions de l'empereur n'avaient été aussi fortes qu'à ce moment-là.