Un risque existentiel est un désastre si grand qu’il anéantit toute l’humanité ou nous paralyse de façon permanente. Il peut s’agir de catastrophes naturelles ou de catastrophes causées par l’homme, de nature intentionnelle ou accidentelle. Un risque existentiel peut exister depuis longtemps, ou seulement quelques décennies, ou peut-être réside-t-il dans notre avenir. Les exemples de risque existentiel incluent les frappes d’astéroïdes, la guerre nucléaire et l’intelligence artificielle malhonnête.
Le concept de risque existentiel a été formulé pour la première fois sous sa forme actuelle par le Dr Nick Bostrom, un philosophe d’Oxford. Il utilise un tableau des risques semblable au suivant pour expliquer les risques existentiels :
Étendue du risqueMondialEl NiñodeforestationRisque existentielLocalOrageRedescentéconomiqueouraganPersonal PapercutEntorse de la chevillevous êtes abattuIntensité du risqueNégligibleGérableTerminal
Les risques existentiels sont mondiaux et terminaux, ou peut-être quasi-terminaux. Un virus extrêmement contagieux avec un taux de létalité de 99.9% contre lequel personne n’est à l’abri est un exemple de risque existentiel.
Bostrom souligne que nos esprits et nos institutions sont mal équipés pour faire face à la réflexion sur le risque existentiel, car nous n’en avons jamais connu un auparavant – si nous l’avions fait, nous ne serions pas là pour y penser. Comme un enfant qui ne sait pas qu’un poêle est chaud jusqu’à ce qu’il le touche, nous avons peu d’expérience des catastrophes à ce niveau. La peste bubonique de l’Europe médiévale et la grippe espagnole de la Première Guerre mondiale nous offrent un avant-goût de ce que serait une catastrophe existentielle. Des dizaines de millions de personnes en bonne santé ont été tuées en quelques heures par les deux maladies.
Dans son article canonique sur le sujet, Bostrom répertorie une douzaine de risques existentiels et les classe en fonction de leur gravité et de leur capacité de récupération. Certains des plus plausibles sont répertoriés ici :
virus génétiquement modifiés
courses aux armements nanotechnologiques
guerre nucléaire catastrophique
robotique auto-réplicable incontrôlable
IA surintelligente indifférente aux humains
catastrophe physique dans un accélérateur de particules
l’explosion d’un supervolcan bloque le soleil
En raison de l’extrême gravité et de l’irréversibilité du risque existentiel, les contre-mesures possibles méritent d’être réfléchies et mises en œuvre. Même si la chance qu’une menace existentielle donnée devienne réalité est faible, les enjeux immenses impliqués exigent un programme d’évitement sérieux. Pour les menaces d’origine humaine, les contre-mesures comprennent des systèmes sophistiqués d’observation et d’alerte et la réglementation de certaines technologies pour garantir qu’elles ne sont pas utilisées à des fins de destruction massive. Les pays soupçonnés de posséder des armes de destruction massive sont parfois envahis par d’autres pays inquiets des conséquences à long terme, comme le montre bien la guerre en Irak.