Un riesgo existencial es un desastre tan grande que aniquila a toda la humanidad o nos paraliza permanentemente. Estos pueden ser desastres naturales o desastres provocados por el hombre de naturaleza intencional o accidental. Un riesgo existencial puede haber existido durante mucho tiempo, o solo unas pocas décadas, o tal vez esté en nuestro futuro. Los ejemplos de riesgo existencial incluyen grandes ataques de asteroides, guerra nuclear e Inteligencia Artificial deshonesta.
El concepto de riesgo existencial fue articulado por primera vez en su forma actual por el Dr. Nick Bostrom, un filósofo de Oxford. Utiliza una tabla de riesgos similar a la siguiente para explicar los riesgos existenciales:
Alcance del riesgoGlobalEl NiñodeforestaciónriesgoexistencialTormenta eléctrica localrecesión económicahuracánPersonalpapelescorte tobillo esprimido le disparanIntensidad del riesgoIndigibleManageableTerminal
Los riesgos existenciales son globales y terminales, o quizás casi terminales. Un virus extremadamente contagioso con una tasa de letalidad del 99.9% al que nadie es inmune es un ejemplo de riesgo existencial.
Bostrom señala que nuestras mentes e instituciones están mal equipadas para lidiar con el pensamiento sobre el riesgo existencial, porque nunca antes habíamos experimentado uno; si lo hubiéramos hecho, no estaríamos aquí para pensar en ellos. Como un niño que no sabe que una estufa está caliente hasta que la toca, tenemos poca experiencia con catástrofes en este nivel. La peste bubónica de la Europa medieval y la gripe española de la Primera Guerra Mundial nos ofrecen una muestra de cómo sería un desastre existencial. Decenas de millones de personas sanas murieron en cuestión de horas por ambas enfermedades.
En su artículo canónico sobre el tema, Bostrom enumera alrededor de una docena de riesgos existenciales y los clasifica en función de su gravedad y capacidad de recuperación. Algunos de los más plausibles se enumeran aquí:
virus modificados genéticamente
carreras de armamentos nanotecnológicos
catastrófica guerra nuclear
robótica autorreplicante fuera de control
IA superinteligente indiferente a los humanos
desastre físico en un acelerador de partículas
explosión de supervolcán bloquea el sol
Debido a la extrema gravedad e irreversibilidad del riesgo existencial, vale la pena intercambiar ideas e implementar posibles contramedidas. Incluso si la posibilidad de que una amenaza existencial dada se convierta en realidad es pequeña, las inmensas apuestas involucradas exigen un programa de evasión serio. Para las amenazas de origen humano, las contramedidas incluyen sofisticados sistemas de observación y alerta y la regulación de ciertas tecnologías para garantizar que no se utilicen para la destrucción masiva. Los países sospechosos de poseer armas de destrucción masiva a veces son invadidos por otros países preocupados por las consecuencias a largo plazo, como lo demuestra vívidamente la guerra en Irak.