Quand, avec la mort de Frédéric II, la politique impériale s'effondra, l'Allemagne se trouva du même coup privée d'un pouvoir central; les villes et les princes surent exploiter la situation en leur faveur et parvinrent ainsi à l'autonomie, si bien que l'Allemagne du bas moyen âge s'émietta en une infinité de petites principautés indépendantes et de villes libres. Le mouvement s'accusait, d'ailleurs, déjà sous le règne de Frédéric Il auquel les grands vassaux avaient arraché des droits étendus. Le système féodal subsistait, en principe, mais il était miné par les institutions nouvelles. La conception du prince (Fürst) avait évolué au cours des siècles précédents; tandis qu'autrefois, ce titre désignait indifféremment tous les seigneurs, il fut peu à peu réservé à ceux-là seuls, laïques ou ecclésiastiques, qui se trouvaient dans la dépendance immédiate du roi et se considéraient, plus ou moins, comme de petits souverains; ils constituèrent désormais la caste des princes d'empire qui se distinguait à son avantage du reste de la noblesse.

Les princes surent s'assurer, peu à peu, un droit de juridiction toujours plus étendu, si bien que le Tribunal d'empire perdit toute importance; puis, pas à pas, ils s'emparèrent des anciens droits régaliens. Et, tandis que les vassaux de la couronne s'affranchissaient ainsi du pouvoir royal, ils surent, du même coup, augmenter leur puissance en dépouillant leurs propres vassaux de leurs compétences juridiques et officielles et en les transférant à des fonctionnaires dociles et révocables auxquels ils confièrent l'exercice de la justice, la responsabilité de l'établissement et de la perception des impôts et des fonctions militaires et de police; la noblesse ministérielle fut écartée au profit des juristes-bourgeois, versés dans la connaissance du droit romain et doués des talents qui font les bons fonctionnaires d'Etat. Les princes organisèrent leur cour; ils eurent une chancellerie, leur sceau. Ainsi plusieurs territoires devinrent, en fait sinon en droit, de petits Etats souverains: tels furent les duchés, quelques comtés indépendants et même un petit nombre d'évêchés et d'abbayes. Ils avaient leur administration autonome, leur propre législation; exerçaient à la fois le pouvoir législatif et le pouvoir exécutif, possédaient des forces militaires et s'appuyaient sur un système financier soigneusement organisé.

Depuis le milieu du XIIIe siècle, les princes-électeurs (Kurfürsten) occupent une place en vue parmi les autres. Le droit d'élection avait longtemps appartenu à tous les princes laïques et ecclésiastiques, mais, plus tard, il se trouva réservé à sept personnages, qui étaient les archevêques de Cologne, Trèves et Mayence, le duc de Saxe, le roi de Bohême, le margrave de Brandebourg et le comte palatin du Rhin. Ces électeurs formèrent une caste à part. Ils surent prendre une influence croissante dans le gouvernement de l'empire et utiliser leur situation favorable au profit de leurs principautés. La Bulle d'Or de 1356 leur octroya des privilèges qui leur assuraient une situation nettement supérieure à celle des autres princes. Mais l'ambition de ces derniers se réveilla et, avec le temps, ils obtinrent des avantages et devinrent, en plus d'un domaine, presque les égaux des électeurs. Ainsi, dans le bas moyen âge, l'empire se transforma en une sorte de confédération d'Etats princiers qui n'avaient entre eux qu'un lien très lâche. Dès lors, ce ne furent plus les intérêts du royaume, mais ceux de leur propre Etat qui dominèrent les princes. Le chef du royaume, lui-même, régnant en prince sur le patrimoine qu'il avait hérité de sa famille, n'était roi qu'accessoirement.

A côté des Etats princiers, cette confédération comprenait aussi un grand nombre de villes libres. L'évolution politique des villes au moyen âge est déjà connue. Au XIIIe siècle, en Allemagne, de grands progrès furent réalisés dans le sens de l'autonomie et, au cours du bas moyen âge, les villes, enrichies par le commerce, purent prétendre à un rôle politique. Dès la chute des Hohenstaufen, elles trouvèrent moyen de s'affranchir de leurs maîtres et de s'assurer des droits souverains: droit de juridiction, droit de lever des impôts, de tenir des marchés, de frapper monnaie, d'exiger l'octroi, d'autres encore. Elles s'organisèrent elles-mêmes, se donnèrent un conseil et un maire (Schultheiss ou Bürgermeister). Ce dernier fut d'abord un aristocrate, mais, depuis le XIVe siècle, il fut de plus en plus fréquemment choisi parmi les membres des corporations et ces villes devinrent, beaucoup plus vite que les principautés, de petits Etats modernes, parfaitement organisés, tenant en mains tous les pouvoirs. Dans chacune d'elles, les impôts et le service militaire étaient des obligations qui incombaient à tous également. La ville, enfin, se chargea de l'assistance publique; elle ouvrit des hospices, des hôpitaux, des écoles; elle prit même en mains la surveillance de la moralité publique et de la circulation. Toutes les villes, sans doute, n'arrivèrent pas à l'autonomie complète; le plus grand nombre, malgré des privilèges importants, devait encore reconnaître l'autorité d'un seigneur, dans certains domaines tout au moins, mais, dans les derniers temps du moyen âge, l'Allemagne comptait déjà de soixante-dix à quatre-vingts villes parfaitement autonomes; on les appelait villes d'empire, parce qu'elles dépendaient de l'empereur seulement. Beaucoup d'entre elles surent faire entrer dans leur sphère d'influence la campagne environnante et devinrent ainsi des Etats républicains minuscules; ce fut le cas, par exemple, de Nuremberg, Ulm, Francfort, Hambourg, Rothenbourg. Aucune cependant ne prit autant d'autorité et de prestige que Berne qui dominait sur un grand territoire et développa ses forces intérieures à tel point qu'elle osait se mesurer avec les plus grands princes. L'Allemagne a donc connu, à la fin du moyen âge, des Etats centralisés, administrés par des fonctionnaires. Mais, tandis qu'en Sicile d'abord, puis dans les républiques italiennes et en France, le système féodal était remplacé par le fonctionnarisme et disparaissait devant des Etats centralisés qui réunissaient en une seule main les anciennes compétences, jadis réparties entre un très grand nombre, l'Allemagne ne connut le système que partiellement; elle n'eut pas une politique générale. Alors que la France devenait un tout, l'Empire allemand se morcelait à l'infini pour avoir gaspillé ses forces dans la vaine poursuite de la domination universelle.

Le morcellement ne désagrégea pas seulement l'empire; il se fit aussi au détriment des grands duchés de naguère. Ceux-ci, à la fin du règne des Hohenstaufen, étaient, à l'exception de la Bavière, complètement désorganisés et leurs territoires se trouvaient répartis entre une foule de petits seigneurs laïques ou ecclésiastiques. Sur le territoire de la Franconie se formèrent, au nord, le landgraviat de Hesse et le comté de Nassau. A l'est, l'évêque de Wurzbourg se tailla un grand domaine, malgré l'opposition de plusieurs villes qui prirent les armes contre lui. Nuremberg devint le centre d'un Etat indépendant, tandis qu'au bord du Rhin, une branche de la famille des Zaehringen s'assurait la possession du margraviat de Baden qui fut le noyau d'un beaucoup plus grand Etat, constitué peu à peu. Au sud du Main, sur les deux rives du Rhin, l'électorat du Palatinat naquit d'un ancien domaine des Hohenstaufen; ces propriétaires revêtirent la charge de comtes palatins (du palais) et prirent, du même coup, le titre de princes d'empire; puis le pays passa aux mains d'une branche cadette des Wittelsbach et, dès le début du XIVe siècle, fut étroitement relié à la Bavière, mais pour peu de temps; cependant, le Palatinat bavarois, au nord de la Bavière, resta attaché au Palatinat rhénan. Le comte palatin du Rhin figure dans la Bulle d'Or en qualité de prince-électeur. Robert Ier fonda l'université de Heidelberg en 1386. En 1410, la dynastie palatine se divisa en quatre branches dont deux étaient destinées à une longue durée: celle qui conserva la dignité électorale, et les Simmern-Zweibrücken qui, plus tard et jusqu'en 1918, gouvernèrent la Bavière.

Une catastrophe avait atteint le duché de Saxe sous Henri le Lion; il s'était émietté en une foule d'évêchés: Brême, Munster, Osnabruck, Paderborn, Hildesheim, Halberstadt, Magdebourg et de petits Etats laïques dont les principaux furent le duché de Brunswick-Lunebourg et le comté (plus tard duché) de Holstein, qui se rattacha au duché danois de Slesvig. Le titre de duché de Saxe ne se rapporta plus qu'au territoire qui entoure Wittenberg et qui revint à un fils d'Albert l'Ours. Cet Etat devint un électorat et, en 1423, passa aux mains du margrave de Meissen-Wettin, qui possédait déjà la Thuringe orientale. Ainsi naquit une nouvelle Saxe, mais qui, à part son nom, n'avait rien de commun avec l'ancien duché. Dès 1485, il y eut un électorat et un duché de Saxe, parce que deux frères, Albert et Ernest, se partagèrent le territoire. Quant à la Marche du Nord, qu'Albert l'Ours étendit jusqu'à la Marche de Brandebourg, elle était destinée à un grand avenir. La Souabe fut plus morcelée encore que les deux Etats précédents. Dans le bassin du Neckar, les comtes de Wurtemberg se taillèrent peu à peu un grand territoire qui fut élevé au rang de duché en 1495. L'Alsace, qui avait été un duché à l'époque mérovingienne, se divisa, aux environs de 1200, en deux landgraviats, la Haute et la Basse-Alsace (Sundgau). Tandis que la Haute-Alsace était en grande partie rattachée à l'évêché de Strasbourg, le Sundgau revint aux Habsbourg, en même temps que le Brisgau, sur la rive droite du Rhin. Au XIIIe siècle, franchissant les Alpes, les Habsbourg parvinrent jusqu'au Danube et, unissant l'ancien territoire de la Marche de l'Est avec celui des Alpes orientales, ils créèrent un nouvel Etat, l'Autriche. C'eût été un vaste Etat alpin, d'un seul tenant, si la Confédération des cantons suisses n'y avait peu après ouvert une brèche. Depuis la fin du XIIIe siècle, elle se développa entre les Alpes, le Rhin et le jura, tandis que, par des luttes héroïques, elle résistait aux prétentions des princes voisins et se dégageait de la suzeraineté de l'empire.

Le duché de Bavière subsista; cependant, au XIIIe siècle, il se vit enlever par les Habsbourg des territoires acquis naguère par ses princes dans la région des Alpes, notamment la vieille Marche de l'Est, et les duchés de Styrie, Carinthie et Carniole, en 1282, puis plus tard, en 1363, le comté du Tyrol. Dans cette région, l'évêché le plus important était celui de Salzbourg. Quant aux territoires qui s'étendaient à la limite occidentale, de la Frise à la Provence, l'empire n'y avait jamais pris pied fermement. Une frontière très artificielle avait été marquée au IXe siècle entre les pays germaniques et le royaume des Francs, mais elle englobait, dans l'empire, des territoires dont la population était latine de langue et de mentalité, donc portée à regarder vers l'ouest. Comme l'empire n'exerçait pas de force d'attraction, tout au contraire de la France, il était inévitable qu'il perdît plusieurs territoires au profit de sa voisine. La Lorraine fut divisée de bonne heure en deux duchés de Haute et Basse-Lorraine. Le premier, qui recouvrait les cours supérieurs de la Meuse et de la Moselle, fut seul à conserver son nom. La Basse-Lorraine se morcela en plusieurs Etats, les duchés de Luxembourg, de Brabant et de Gueldre et les comtés de Flandres, de Seeland et de Hollande. Au XIVe siècle, tous ces territoires furent réunis au duché de Bourgogne, mais ils n'en restèrent pas moins terres de l'empire. En 1477, ils passèrent aux Habsbourg par voie d'héritage, ce qui ne change rien au fait qu'ils échappaient peu à peu à l'empire pour mener leur vie propre, dans le domaine politique comme dans le domaine culturel. Le royaume de Bourgogne se détacha peu à peu de l'empire, sans que les droits impériaux eussent jamais été formellement dénoncés. En 1246, le comté de Provence tomba aux mains d'une branche cadette des Capétiens, la Maison d'Anjou; le Dauphiné fut rattaché à la France en 1349.