Otton II avait 18 ans à la mort de son père et ne risquait pas de connaître les ennuis des souverains qui avaient arraché leur élection aux princes. L’Empire paraît alors calme, sauf peut-être en Italie. Mais c’est dans sa famille que Otton rencontra des problèmes. Il se heurte d’abord à Henri le Querelleur, son cousin, qu’il mettra cinq ans à faire entrer dans le rang. Le Querelleur avait espéré ajouter la Souabe à la Bavière, lors de la mort de son beau-frère Burckhardt; mais Othon Il le prévint, afin d'empêcher un accroissement de la Bavière qui, augmentée de la Souabe, eût dominé toute l'Allemagne du sud. Depuis longtemps, les ducs de Bavière jouissaient, dans leur domaine, d'une grande puissance politique, par le fait, entre autres, qu'ils disposaient des évêchés du sud de l'Allemagne en faveur des membres de leur famille. En fait, la Bavière imposait sa suzeraineté à une grande partie de l'Autriche actuelle et au sud jusqu'à la mer Adriatique et au lac de Garde. Allié à la Bohême et à la Pologne, Henri se souleva donc contre son impérial cousin, mais il fut vaincu, déposé et banni. Othon mit fin à la situation privilégiée de la Bavière; il en sépara la Marche de l'Est qu'il donna à Luitpold de Babenberg telle fut l'origine du règne des Babenberg en Autriche; ils devaient s'y maintenir 270 ans. Dans le sud, l'empereur institua le nouveau duché de Carinthie qui comprenait les anciennes marches de Carniole, de Vérone et d'Istrie. A la même époque, l'évêché de Prague fut établi et placé sous la dépendance de l'archevêché de Mayence, alors que, jusque là, la Bohême relevait de l'évêché de Ratisbonne. Ainsi la Bavière perdit également toute autorité religieuse sur la Bohême. En revanche les ducs Boleslav en Bohême et Mieszko en Pologne conservèrent toute leur indépendance.

Cependant, des troubles éclatèrent en Lorraine. Le roi de France, Lothaire, à la fois cousin germain et beau-frère d'Othon II, espérait tirer parti d'une situation confuse et pénétra dans le duché de Lorraine en révolte. Après une incursion jusqu’à Aix-la-Chapelle, d’où l’empereur s’enfuit au tout dernier moment, Lothaire se replia en France. Otton se reprit et, à la tête d’une armée puissante, menaça de prendre Paris (défendu par Hugues Capet). Deux ans plus tard, en 980, les deux souverains se réconcilièrent. Les revendications sur la Lotharingie cessèrent momentanément.

Puis, Othon Il dut se rendre en Italie, afin d'y exercer ses fonctions de « patricius romanorum ». Les rivalités de partis avaient, en effet, repris de plus belle depuis la mort d'Othon Ier, et, cette fois, c'était la famille issue de Théodora la jeune, les Creszenzi, qui réclamait le pouvoir et qui déshonorait l'Eglise par ses intrigues et ses violences. En 980, accompagné de Théophanie, Othon parut pour rétablir l'ordre. Rome se soumit et le pape Benoît VII, qui avait dû se retirer, fut rétabli dans sa dignité. Mais Othon poursuivait des buts plus vastes; il voulait s'assurer la domination sur toute l'Italie et ne pouvait plus tolérer, en Sicile, la présence des Sarrasins qui s'y étaient installés et, depuis quelques années, faisaient des incursions victorieuses dans la péninsule. Il put s'emparer de Tarente, mais l'armée allemande fut battue en Calabre par les Sarrasins. Terrible défaite au cap Colonne, mais qui n’entame pas gravement l’autorité de l’empereur. Othon dut prendre la fuite et atteindre à la nage le bateau qui lui donna refuge. Les Grecs avaient lié partie avec les Sarrasins. Ils remirent la main sur les Pouilles et la Calabre. Les Slaves en profitent pour attaquer les forteresses de l’Elbe.

En 983, son fils de 3 ans est élu et part se faire couronner, trois semaines plus tard, le 25 décembre, son fils est sacré, mais son père mourra avant cette date. Othon II s'occupa de pourvoir une fois de plus le trône pontifical et travailla sans relâche aux préparatifs d'une nouvelle campagne. Mais au moment où il allait partir pour le sud de l'Italie, à la tête d'une armée, la mort le surprit (983) - Il n'avait que vingt-huit ans. Son corps fut déposé dans un sarcophage romain et enfoui sous le porche de l'église Saint-Pierre. Ses contemporains ont célébré son savoir et sa piété. S'il n'a pas égalé Othon Ier par le talent, du moins s'est-il efforcé de gouverner l'empire conformément à ses idées. Sa mort précoce fut, pour le jeune empire, une grave épreuve. Dès lors, l'oeuvre d'Othon Ier parut mise en question. Le Nord, pas plus que le Sud, n'étaient sûrs et l'héritier du trône n'était qu'un enfant. Le premier qui se révolta fut Henri le Querelleur, revenu d'exil. Il sut s'emparer de l'enfant royal et exigea qu'on lui confiât la régence; puis, chercha à prendre la couronne. Toute l'Allemagne s'agita, et même la France, dont l'ambitieux roi Lothaire jeta de nouveau les regards sur la Lorraine. Mais, en définitive, le jeune Othon conserva la couronne, grâce à la fidélité de la plupart des vassaux, des évêques notamment. L'édifice construit par Othon le Grand prouvait combien il était solide.