Certainement, il n'a pas manifesté un zèle particulier pour les intérêts de l'Eglise, au contraire de ses prédécesseurs et de son successeur, mais on ne peut pas non plus l'accuser d'indifférence. Il fut en très bons termes avec des réformateurs fameux, comme l'évêque Wazo de Liège et l'archevêque Halinard de Lyon. Il soutint de façon durable l'activité de l'abbé Poppo de Stablo qui, à la fin de sa vie, dirigeait dix-sept abbayes réformées sur le modèle de Cluny. Il entretint, de même que son épouse Gisèle, des relations amicales avec le couvent de Saint-Gall. Bref, par tous les traits de sa personnalité, Conrad fut aussi un homme du moyen âge, dans toute l'acception du mot; les caractères du Germain et du chrétien s'unissaient en lui; il était un homme d'action, robuste, nerveusement équilibré, mais aussi un croyant, un chrétien fidèle à l'Eglise. Conrad se conformait à une ancienne tradition et pratiquait intentionnellement une politique impériale, lorsqu'il chercha à prendre en main, autant que possible, les duchés qui restaient toujours, dans le royaume, des éléments dissolvants. Dès que l'occasion s'en présenta, il céda la Bavière et la Souabe à son fils Henri. Ainsi donc la Lorraine et la Saxe se trouvèrent être les seuls duchés qui ne relevèrent pas d'un des membres de la famille royale; la Carynthie aussi, à dire vrai, mais Conrad en fit don à l'un de ses parents, Conrad le jeune. Il en sépara la Marche de Carynthie, qui reparaît quelque temps après sous le nom de Marche de Styrie, quand, en 1056, elle revint à un comte Ottokar de Styrie.

Dans les premières années de son règne, Conrad eut à lutter, à l'intérieur du royaume, contre de nombreux ennemis. Une vigoureuse opposition se manifesta contre lui, qui, d'Allemagne, gagna les territoires de la frontière, puis la France. La Bourgogne, qu'Henri II s'était laissé promettre, offrit l'occasion de la rébellion. Une âpre discussion s'éleva; il s'agissait d'établir si c'était Henri Il personnellement ou le royaume d'Allemagne qui pouvait prétendre à l'héritage bourguignon. Conrad montra nettement comment il interprétait la question en s'emparant de Bâle, en 1025. Mais le comte français Odo de Champagne prétendait, lui aussi, à la couronne de Bourgogne; il avait pour alliés le duc Guillaume d'Aquitaine et le roi de France Robert. Cependant, cette alliance française, qui manifestait une opposition fondamentale au développement de la puissance allemande, se dénoua d'elle-même. Bientôt, il ne resta plus comme prétendant bien déterminé, mais pas très dangereux, au trône de Bourgogne, que le beau-fils de Conrad, le duc Ernest de Souabe. Sa mère, Gisèle, qui avait épousé en seconde noce le roi d'Allemagne, était la nièce du dernier roi de Bourgogne, qui n'avait pas d'enfant. Alors que, par deux fois déjà, Conrad s'était réconcilié avec son beau-fils, celui-ci se souleva de nouveau, poussé par son vassal, le comte Werner de Kybourg. Les deux amis ne se séparèrent plus, luttant contre vents et marées. Ils guerroyèrent quelque temps dans la Forêt Noire, jusqu'à ce qu'ils fussent tués tous les deux, en 1030.

Rodolphe III, lui, mourut en 1032, après avoir envoyé sa couronne à Conrad. L'année suivante, l'empereur se rendit en Bourgogne pour prendre possession du pays et se fit couronner roi à Payerne. Enfin, il anéantit définitivement par les armes la résistance d'Odo de Champagne. L'acquisition de la Bourgogne représenta, pour l'Allemagne, un gain inestimable. Elle entrava pour longtemps tout accroissement de la France; les frontières de l'Italie se trouvèrent couvertes à l'ouest et les passages des Alpes occidentales furent aux mains des empereurs. L'Allemagne, l'Italie et la Bourgogne devinrent les trois colonnes sur lesquelles reposa longtemps le pouvoir impérial dans l'Europe centrale. Des succès couronnaient encore les efforts du roi d'Allemagne sur ses autres frontières. Le grand Etat polonais déclina rapidement après la mort de Boleslav Chrobry, en 1025. La Lusace fit retour à l'empire, dont la Pologne dut reconnaître à nouveau la suzeraineté. Des négociations habiles permirent à Conrad d'entretenir avec Canute, le grand souverain du Nord, des relations amicales, et d'obtenir, pour son fils Henri, la main de Gunhild, fille de Canute. Enfin, par quelques concessions, il sut apaiser un conflit avec le roi Etienne de Hongrie, qui réclamait la Bavière.

En Italie, la confusion régnait de nouveau. Au fond, l'empire n'y avait pas encore poussé de racines; le fait ne peut être mis en doute quand on sait que les Lombards, après la mort d'Henri II, cherchèrent à secouer le joug de l'Allemagne et offrirent la couronne de fer de leurs anciens rois, successivement, mais toujours sans succès, à des princes français, d'abord au roi Robert, puis au duc Guillaume d'Aquitaine. A Pavie, le palais impérial fut incendié. Toutefois, la ville, comme d'autres rebelles, dut se soumettre lorsque, en 1026, Conrad parut en Italie. Il se fit couronner roi d'Italie à Milan et empereur à Rome. Canute le Grand et Rodolphe III assistèrent en personne aux solennités. Mais, dans l'Italie septentrionale, la situation resta tendue. L'empereur chercha à fortifier sa position en soutenant la petite noblesse contre les grandes dynasties et le haut clergé. Il se mêla, de la sorte, à un conflit social qui agitait alors les villes italiennes. Une opposition irréductible séparait les petits seigneurs (valvassores) des grands vassaux (capitaines), au nombre desquels se rangeaient les évêques. Elle avait son origine dans le fait que les grands possédaient, depuis longtemps, le droit d'hérédité qu'ils refusaient aux valvassores. A la tête des capitaines se trouvait Aribert de Milan, archevêque à l'humeur guerrière, qui ne perdait pas une occasion de confisquer les petits fiefs. Les valvassores furent finalement réduits par les armes, mais alors les deux partis en appelèrent à l'empereur. Quand il parut, en 1037, son action fut des plus efficaces, mais elle s'exerça en faveur des plus faibles; il édicta une loi nouvelle: « Constitutio de feudis », qui assurait aux petits fiefs le droit d'hérédité, sans aucune restriction. L'empereur destitua de sa propre autorité, l'archevêque Aribert, et le fit excommunier par le pape Benoît IX. Trois autres évêques furent exilés en Allemagne. Puis, Conrad se rendit en Italie méridionale, où les princes langobards étaient presque indépendants, notamment Pandoulf de Capoue; l'empereur le contraignit à lui rendre hommage, mais il abandonna en fief à Rainoulf, un prince normand, un petit territoire au nord de Naples, Aversa. Une nouvelle puissance prit ainsi son essor en Italie; dès lors, le nombre des Normands s'accrut régulièrement.

Conrad mourut en 1039, peu après son retour en Allemagne. Son tombeau se trouve dans la cathédrale de Spire, dont il avait posé la première pierre. Son chapelain, Wipo, un Bourguignon, selon toute apparence, a écrit de lui une belle biographie de valeur historique qu'il dédia à son fils Henri.