Né en Auvergne, près d'Aurillac, Gerbert fait ses études au monastère de Saint-Géraud d’Aurillac, en Espagne et en Italie, puis enseigna à Reims. Présenté au pape Jean XIII pour sa science exceptionnelle, puis à l’empereur Otton Ier. Il devint l'ami d'Otton II, qui le nomma, en 983, abbé de la célèbre abbaye de Bobbio, fondée par saint Colomban. Excellent professeur, il avait acquis à l'école de Cicéron la maîtrise du discours. Loin d'être perdu dans ses pensées, cet homme de petite naissance fréquentait volontiers les « grands » qui faisaient appel à ses talents de diplomate. Lorsqu'il apprit à le connaître, Otton lui demanda d'abord de lui assouplir l'esprit, de le débarrasser de « la rusticité saxonne » et de développer « la subtilité grecque » venue de sa mère. Mais Gerbert comprit qu'il pourrait être l'Aristote d'un nouvel Alexandre, le Boèce d'un Théodoric civilisé. Il n'hésita pas à proposer un immense programme politique au souverain. « Nôtre, nôtre est l'Empire romain », lui écrivit-il en tête d'un livre sur « le raisonnable et le raisonner ».

Adalbéron, évêque de Reims, le fait écolâtre de son studium épiscopal: Gerbert y enseigne et y fait enseigner toutes les connaissances possibles, profanes et religieuses, antiques et modernes; lui-même acquiert une grande réputation de mathématicien et d’astronome. Il conseille Adalbéron quand ce dernier, au concile de Senlis (987), fait élire comme roi, puis sacre Hugues Capet, au détriment des derniers descendants de Charlemagne. Il succède à son protecteur sur le trône archiépiscopal de Reims, ce qui lui vaut des démêlés infinis avec les évêques fidèles à l’Empire, et avec la papauté, dont il conteste l’autorité; il joue un rôle dominant dans une série de conciles de France, où il se fait le champion de l’indépendance des Églises nationales, notamment pour la nomination des évêques. Il est suspendu et excommunié par le pape pour avoir refusé de quitter le siège de Reims; Otton III le fait évêque de Ravenne, puis, à la mort de son autre protégé Grégoire V, le fait élire pape en 999. Il est  le premier Français à accéder à cette charge

Gerbert, qui prend le nom de Sylvestre, pratique alors la méthode autoritaire qu’il avait combattue dans les nominations et destitutions d’évêques; il lutte vigoureusement contre la simonie et cherche à relever de son délabrement le Saint-Siège, jouet des factions aristocratiques de Rome et de la politique européenne. Sylvestre réforma la discipline ecclésiastique et renforça l'autorité papale. Son érudition et ses connaissances scientifiques lui valurent une telle renommée que nombre de ses contemporains le considérèrent comme un magicien ayant conclu un pacte avec le diable. On lui attribue l’introduction du système féodal français dans l’État pontifical, qui l’ignorait: en fait, il reprend la tradition juridique traditionnelle des concessions territoriales en échange d’une censive dérisoire, mais introduit la clause militaire: le puissant laïc bénéficiaire doit au pape un service en armes et en hommes; surtout, il essaie d’introduire dans l’État pontifical des personnages puissants qui soient étrangers aux grandes familles romaines, en particulier à celle d’Albéric et de Théophylacte, habituée à faire et défaire les papes. La diplomatie de Sylvestre II consiste à unir aussi étroitement que possible la Germanie ottonienne à Rome; il retient Otton près de lui et rêve d’un Empire latino-germanique capable de contrebalancer Byzance. Il détache de la Germanie les Églises de Pologne (sous Boleslas) et de Hongrie (sous Étienne) en les dotant d’une hiérarchie épiscopale nationale.

Ses traités savants sur des sujets relevant des mathématiques, de la philosophie et de la physique furent très célèbres. On lui devrait, en outre, l'invention du balancier et l'introduction des chiffres arabes en Europe occidentale. Gerbert d'Aurillac passait pour le cerveau le plus remarquable de son temps. On ne prête qu'aux riches ; sans doute lui a-t-on trop prêté car il a fini par entrer dans la légende, une légende noire. Il n'est pas sûr qu'il ait inventé de nouveaux outils mathématiques ; il se servait en virtuose de ceux qui existaient. La musique, l'astronomie, l'arithmétique, la géométrie l'intéressaient vivement.

Pape de l’an mille, Sylvestre II a dû sans doute à sa réputation d’astronome de figurer dans un certain nombre de récits légendaires postérieurs à cette époque. Ainsi trouve-t-on dans le Miroir historial (Speculum historiae, mil. XIIIe s.) de Vincent de Beauvais la légende selon laquelle Gerbert aurait tout jeune vendu son âme au diable, qui, en échange, lui aurait assuré sa carrière politique jusqu’au siège de saint Pierre; après quoi, le pape repenti aurait obtenu la miséricorde divine. On connaît assez bien la vie et l’action de Gerbert par les documents pontificaux et par son abondante correspondance.

L’opposition romaine l’oblige à quitter Rome en 1001, et la mort d’Otton, son allié de toujours (23 janv. 1002), condamne ses rêves de réforme. Il meurt à Rome sans avoir mené à bien son œuvre.