Ver el código de «Riesgo existencial de la inteligencia artificial»

'''El riesgo existencial de la inteligencia artificial general''' es la hipótesis de que un progreso sustancial en [[Inteligencia artificial fuerte|la inteligencia artificial general]] (IAG) podría resultar en la [[Extinción humana|extinción humana]] o alguna otra [[Riesgos catastróficos globales|catástrofe global]] irrecuperable.<ref name="aima">{{Cita libro|apellidos=Russell|nombre=Stuart|título=Artificial Intelligence: A Modern Approach|url=https://archive.org/details/nlsiu.340.11.rus.27359|apellidos2=Norvig|nombre2=Peter|fecha=2009|editorial=Prentice Hall|isbn=978-0-13-604259-4|capítulo=26.3: The Ethics and Risks of Developing Artificial Intelligence|enlaceautor=Stuart J. Russell|enlaceautor2=Peter Norvig}}</ref><ref>{{Cita publicación|título=Existential risks|apellidos=Bostrom|nombre=Nick|enlaceautor=Nick Bostrom|fecha=2002|publicación=[[Journal of Evolution and Technology]]|volumen=9|número=1|páginas=1–31}}</ref><ref name="auto1">{{Cita publicación|url=https://philarchive.org/rec/TURCOG-2|título=Classification of global catastrophic risks connected with artificial intelligence|apellidos=Turchin|nombre=Alexey|apellidos2=Denkenberger|nombre2=David|fecha=2018-05-03|publicación=AI & Society|volumen=35|número=1|páginas=147–163|issn=0951-5666|doi=10.1007/s00146-018-0845-5}}</ref>

Un argumento para esta hipótesis es que la [[Humano|especie humana]] actualmente domina a otras especies porque el [[cerebro humano]] tiene algunas capacidades distintivas de las que carecen otros animales. Si la IA superara a la humanidad en inteligencia general y se volviera "[[Superinteligencia|superinteligente]]", entonces podría volverse difícil o imposible de controlar para los humanos. Así como el destino del [[Gorilla beringei beringei|gorila de montaña]] depende de la buena voluntad humana, el destino de la humanidad podría depender de las acciones de una futura superinteligencia mecánica.<ref name="superintelligence">{{Cita libro|apellidos=Bostrom|nombre=Nick|título=Superintelligence: Paths, Dangers, Strategies|fecha=2014|isbn=978-0199678112|edición=First|enlaceautor=Nick Bostrom}}</ref>

La probabilidad de este tipo de escenario es ampliamente debatida y depende en parte de diferentes escenarios sobre el progreso futuro de la informática.<ref name="givewell">{{Cite report|title=Potential risks from advanced artificial intelligence|last=GiveWell|author-link=GiveWell|url=http://www.givewell.org/labs/causes/ai-risk|access-date=11 octubre 2015|date=2015|archive-date=12 octubre 2015|archive-url=https://web.archive.org/web/20151012084043/http://www.givewell.org/labs/causes/ai-risk}}</ref> Destacados científicos informáticos y directores ejecutivos de tecnología como [[Geoffrey Hinton]],<ref>{{Cita web|url=https://www.cbsnews.com/news/godfather-of-artificial-intelligence-weighs-in-on-the-past-and-potential-of-artificial-intelligence/|título="Godfather of artificial intelligence" weighs in on the past and potential of AI|fechaacceso=2023-04-10|sitioweb=www.cbsnews.com|idioma=en-US}}</ref> [[Alan Turing]], [[Elon Musk]],<ref name="Sin_nombre-20230526131739">{{Cita noticia|apellidos=Parkin|nombre=Simon|fecha=14 junio 2015|título=Science fiction no more? Channel 4's Humans and our rogue AI obsessions|idioma=en|obra=[[The Guardian]]|url=https://www.theguardian.com/tv-and-radio/2015/jun/14/science-fiction-no-more-humans-tv-artificial-intelligence|fechaacceso=5 de febrero de 2018|archive-url=https://web.archive.org/web/20180205184322/https://www.theguardian.com/tv-and-radio/2015/jun/14/science-fiction-no-more-humans-tv-artificial-intelligence|fechaarchivo=5 de febrero de 2018}}</ref> y [[Sam Altman]], director ejecutivo de [[OpenAI]], han expresado su preocupación por la superinteligencia.<ref name="Sin_nombre_2-20230526131739">{{Cita web|url=https://www.businessinsider.com/chatgpt-openai-ceo-worst-case-ai-lights-out-for-all-2023-1|título=The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us'|fechaacceso=2023-04-10|autor=Jackson|nombre=Sarah|sitioweb=Business Insider|idioma=en-US}}</ref> En 2022, una encuesta a investigadores de IA (con una tasa de respuesta del 17%) encontró que más de la mitad de los respondientes creen que existe un 10 por ciento o más de posibilidades de que nuestra incapacidad para controlar la IA provoque una catástrofe existencial.<ref>{{Cita web|url=https://www.humanetech.com/podcast/the-ai-dilemma|título=The AI Dilemma|fechaacceso=2023-04-10|sitioweb=www.humanetech.com|idioma=en}}</ref><ref>{{Cita web|url=https://aiimpacts.org/2022-expert-survey-on-progress-in-ai/|título=2022 Expert Survey on Progress in AI|fechaacceso=2023-04-10|fecha=2022-08-04|sitioweb=AI Impacts|idioma=en-US}}</ref>

Dos fuentes de preocupación son los problemas del [[AI box|control]] y la [[Alineación de la inteligencia artificial|alineación]] de la IA: que controlar una máquina superinteligente o inculcarle valores compatibles con los humanos puede ser un problema más difícil de lo que se supone ingenuamente. Muchos investigadores creen que una superinteligencia resistiría los intentos de apagarla o cambiar sus objetivos (ya que tal incidente le impediría lograr sus objetivos actuales) y que será extremadamente difícil alinear la superinteligencia con la amplitud completa de importantes valores, valores humanos y aplicar restricciones.<ref name="aima2">{{Cita libro|apellidos=Russell|nombre=Stuart|título=Artificial Intelligence: A Modern Approach|url=https://archive.org/details/nlsiu.340.11.rus.27359|apellidos2=Norvig|nombre2=Peter|fecha=2009|editorial=Prentice Hall|isbn=978-0-13-604259-4|capítulo=26.3: The Ethics and Risks of Developing Artificial Intelligence|enlaceautor=Stuart J. Russell|enlaceautor2=Peter Norvig}}</ref><ref name="yudkowsky-global-risk">{{Cita publicación|url=https://intelligence.org/files/AIPosNegFactor.pdf|título=Artificial Intelligence as a Positive and Negative Factor in Global Risk|apellidos=Yudkowsky|nombre=Eliezer|fecha=2008|publicación=Global Catastrophic Risks|páginas=308–345|fechaacceso=27 agosto 2018|bibcode=2008gcr..book..303Y|urlarchivo=https://web.archive.org/web/20130302173022/http://intelligence.org/files/AIPosNegFactor.pdf|fechaarchivo=2 marzo 2013}}</ref><ref name="research-priorities">{{Cita publicación|url=https://futureoflife.org/data/documents/research_priorities.pdf|título=Research Priorities for Robust and Beneficial Artificial Intelligence|enlaceautor=Stuart J. Russell|publicación=AI Magazine|editorial=Association for the Advancement of Artificial Intelligence|páginas=105–114|fechaacceso=10 agosto 2019|bibcode=2016arXiv160203506R|urlarchivo=https://web.archive.org/web/20190804145930/https://futureoflife.org/data/documents/research_priorities.pdf|fechaarchivo=4 agosto 2019|enlaceautor3=Max Tegmark|año=2015|arxiv=1602.03506}}, cited in {{Cita web|url=https://futureoflife.org/ai-open-letter|título=AI Open Letter - Future of Life Institute|fechaacceso=2019-08-09|fecha=enero de 2015|sitioweb=Future of Life Institute|editorial=[[Future of Life Institute]]|urlarchivo=https://web.archive.org/web/20190810020404/https://futureoflife.org/ai-open-letter|fechaarchivo=10 agosto 2019}}</ref> Por lo contrario, los escépticos como el [[informático teórico]] [[Yann LeCun]] argumentan que las máquinas superinteligentes no tendrán ningún deseo de autopreservación.<ref name="vanity">{{Cita noticia|apellidos=Dowd|nombre=Maureen|fecha=abril 2017|título=Elon Musk's Billion-Dollar Crusade to Stop the A.I. Apocalypse|idioma=en|obra=The Hive|url=https://www.vanityfair.com/news/2017/03/elon-musk-billion-dollar-crusade-to-stop-ai-space-x|fechaacceso=27 noviembre 2017|fechaarchivo=26 julio 2018|archive-url=https://web.archive.org/web/20180726041656/https://www.vanityfair.com/news/2017/03/elon-musk-billion-dollar-crusade-to-stop-ai-space-x}}</ref>

Una tercera fuente de preocupación es que la llamada "[[singularidad tecnológica]]" repentina pueda tomar por sorpresa a una raza humana que no esté preparada. Ejemplificando: si la primera generación de un [[programa de computadora]] que puede igualar ampliamente la efectividad de un investigador de IA, puede reescribir sus [[Algoritmo|algoritmos]] y duplicar su velocidad o capacidades en seis meses, entonces se espera que el programa de segunda generación tarde tres meses para realizar una parte similar del trabajo. En este escenario, el tiempo para cada generación continúa reduciéndose, y el sistema experimenta una gran cantidad de etapas de mejora sin precedentes en un corto intervalo de tiempo, saltando de un desempeño infrahumano en muchas áreas a un desempeño sobrehumano en prácticamente todos los dominios de interés.<ref name="aima3">{{Cita libro|apellidos=Russell|nombre=Stuart|título=Artificial Intelligence: A Modern Approach|url=https://archive.org/details/nlsiu.340.11.rus.27359|apellidos2=Norvig|nombre2=Peter|fecha=2009|editorial=Prentice Hall|isbn=978-0-13-604259-4|capítulo=26.3: The Ethics and Risks of Developing Artificial Intelligence|enlaceautor=Stuart J. Russell|enlaceautor2=Peter Norvig}}</ref><ref name="yudkowsky-global-risk2">{{Cita publicación|url=https://intelligence.org/files/AIPosNegFactor.pdf|título=Artificial Intelligence as a Positive and Negative Factor in Global Risk|apellidos=Yudkowsky|nombre=Eliezer|fecha=2008|publicación=Global Catastrophic Risks|páginas=308–345|fechaacceso=27 agosto 2018|bibcode=2008gcr..book..303Y|urlarchivo=https://web.archive.org/web/20130302173022/http://intelligence.org/files/AIPosNegFactor.pdf|fechaarchivo=2 marzo 2013}}</ref> Empíricamente, ejemplos como el programa [[AlphaZero]] en el dominio de [[Go]] muestran que los sistemas de IA a veces pueden progresar desde una capacidad limitada a nivel humano hasta una capacidad sobrehumana limitada de forma extremadamenta rápida.<ref name="skeptic">{{Cita noticia|apellidos=Graves|nombre=Matthew|fecha=8 noviembre 2017|título=Why We Should Be Concerned About Artificial Superintelligence|volumen=22|obra=[[Skeptic (US magazine)]]|número=2|url=https://www.skeptic.com/reading_room/why-we-should-be-concerned-about-artificial-superintelligence/|fechaacceso=27 noviembre 2017|fechaarchivo=13 noviembre 2017|archive-url=https://web.archive.org/web/20171113050152/https://www.skeptic.com/reading_room/why-we-should-be-concerned-about-artificial-superintelligence/}}</ref>

== Historia ==
Uno de los primeros autores en expresar su seria preocupación de que las máquinas altamente avanzadas pudieran representar riesgos existenciales para la humanidad fue el novelista [[Samuel Butler (novelista)|Samuel Butler]], quien escribió lo siguiente en su ensayo de 1863 ''[[Darwin entre las máquinas|Darwin between the Machines]]'':<ref group="N">"Darwin entre las máquinas" fue un artículo publicado en el periódico The Press el 13 de junio de 1863 en [[Christchurch]], [[Nueva Zelanda]], que hace referencia al trabajo de [[Charles Darwin]] en el título. Escrito por Samuel Butler pero firmado por Cellarius (q.v.), el artículo planteó la posibilidad de que las máquinas fueran una especie de "vida mecánica" en constante evolución, y que eventualmente las máquinas podrían suplantar a los humanos como la especie dominante:</ref><ref>Breuer, Hans-Peter. [https://www.jstor.org/pss/436868 'Samuel Butler's "the Book of the Machines" and the Argument from Design.'] {{Wayback|url=https://www.jstor.org/pss/436868 |date=20230315233257 }} Modern Philology, Vol. 72, No. 4 (mayo 1975), pp. 365–383</ref><ref>{{Cita web|url=https://www.themarginalian.org/2022/09/15/samuel-butler-darwin-among-the-machines-erewhon/|título=Darwin Among the Machines: A Victorian Visionary’s Prophetic Admonition for Saving Ourselves from Enslavement by Artificial Intelligence|títulotrad=Darwin entre las máquinas: la admonición profética de un visionario victoriano para salvarnos de la esclavitud de la inteligencia artificial|fechaacceso=13-5-2023|sitioweb=Themarginalian|idioma=en}}</ref>

{{Cita|El resultado es simplemente una cuestión de tiempo, pero que llegará el momento en que las máquinas tendrán la supremacía real sobre el mundo y sus habitantes es lo que ninguna persona con una mente verdaderamente filosófica puede cuestionar por un momento.}}En 1951, el científico informático [[Alan Turing]] escribió un artículo titulado ''Maquinaria inteligente, una teoría herética (Intelligent Machinery, A Heretical Theory)'', en el que proponía que las inteligencias generales artificiales probablemente "tomarían el control" del mundo a medida que se volvieran más inteligentes que los seres humanos:

{{Cita|Supongamos ahora, por el bien del argumento, que las máquinas [inteligentes] son una posibilidad genuina, y miremos las consecuencias de construirlas... No sería un tema que las máquinas mueran, y podrían conversar unas con otras para agudizar su ingenio. En algún momento, por lo tanto, podríamos esperar que las máquinas tomen el control, de la manera que se menciona en [[Samuel Butler (novelista)|Samuel Butler]] de ''[[Erewhon]]''.<ref name= "oxfordjournals">{{Cite journal |last=Turing |first=A M |year=1996 |title=Intelligent Machinery, A Heretical Theory |journal=1951, Reimpreso Philosophia Mathematica |volume=4 |issue=3 |pages=256– 260 |doi=10.1093/philmat/4.3.256}}</ref>}}

En 1965, [[I. J. Good]]<ref name="The Times">{{Cite web|url=https://www.thetimes.co.uk/|title=The Times & The Sunday Times|access-date=2023-05-13|website=www.thetimes.co.uk|language=en}}</ref> creó el concepto ahora conocido como "explosión de inteligencia"; también afirmó que los riesgos eran subestimados:<ref>{{Cita noticia|apellidos=Hilliard|nombre=Mark|fecha=2017|título=The AI apocalypse: will the human race soon be terminated?|idioma=en|periódico=The Irish Times|url=https://www.irishtimes.com/business/innovation/the-ai-apocalypse-will-the-human-race-soon-be-terminated-1.3019220|fechaacceso=15 marzo 2020|fechaarchivo=22 mayo 2020|archive-url=https://web.archive.org/web/20200522114127/https://www.irishtimes.com/business/innovation/the-ai-apocalypse-will-the-human-race-soon-be-terminated-1.3019220}}</ref>

{{Cita|Definemos una máquina ultrainteligente como una máquina que puede superar con creces todas las actividades intelectuales de cualquier hombre, por inteligente que sea. Dado que el diseño de máquinas es una de estas actividades intelectuales, una máquina ultrainteligente podría diseñar máquinas aún mejores; entonces incuestionablemente habría una 'explosión de inteligencia', y la inteligencia del hombre quedaría muy atrás. Por lo tanto, la primera máquina ultrainteligente es el último invento que el hombre necesita hacer, siempre que la máquina sea lo suficientemente documentada como para decirnos cómo mantenerla bajo control. Es curioso que este punto se haga tan raramente fuera de la ciencia ficción. A veces vale la pena tomarse la ciencia ficción en serio.<ref>I.J. Bien, [http://commonsenseatheism.com/wp-content/uploads/2011/02/Good-Speculations-Concerning-the-First-Ultraintelligent-Machine.pdf "Especulaciones sobre la primera máquina ultrainteligente"] {{Wayback|url=http://commonsenseatheism.com/wp-content/uploads/2011/02/Good-Speculations-Concerning-the-First-Ultraintelligent-Machine.pdf |date=20111128085512 }} ([http://www.acceleratingfuture.com/pages/ultraintelligentmachine.html HTML] {{Wayback|url=http://www.acceleratingfuture.com/pages/ultraintelligentmachine.html |date=20111128085512 }} ), ''Advances in Computers'', vol. 6, 1965.</ref>}}Declaraciones ocasionales de académicos como [[Marvin Minsky]]<ref>{{Cita libro|apellidos=Russell|nombre=Stuart J.|título=Artificial Intelligence: A Modern Approach|apellidos2=Norvig|nombre2=Peter|fecha=2003|editorial=Prentice Hall|isbn=978-0137903955|ubicación=Upper Saddle River, N.J.|capítulo=Section 26.3: The Ethics and Risks of Developing Artificial Intelligence|cita=De manera similar, Marvin Minsky sugirió una vez que un programa de inteligencia artificial diseñado para resolver la hipótesis de Riemann podría terminar apoderándose de todos los recursos de la Tierra para construir supercomputadoras más poderosas para ayudar a lograr su objetivo.}}</ref> y el mismo Good<ref>{{Cita libro|apellidos=Barrat|nombre=James|título=Our final invention : artificial intelligence and the end of the human era|url=https://archive.org/details/ourfinalinventio0000barr|fecha=2013|editorial=St. Martin's Press|isbn=9780312622374|edición=First|ubicación=New York|cita=En la biografía, escrita en broma en tercera persona, Good resumió los hitos de su vida, incluido un relato probablemente nunca antes visto de su trabajo en Bletchley Park con Turing. Pero esto es lo que escribió en 1998 sobre la primera superinteligencia y su giro en U al final del juego: [El artículo] 'Especulaciones sobre la primera máquina ultrainteligente' (1965). . . comenzó: 'La supervivencia del hombre depende de la construcción temprana de una máquina ultrainteligente'. Esas fueron sus palabras [de Good] durante la Guerra Fría, y ahora sospecha que 'supervivencia' debería ser reemplazada por 'extinción'. Piensa que, debido a la competencia internacional, no podemos evitar que las máquinas tomen el relevo. Cree que somos lemmings. Dijo también que 'probablemente el Hombre construirá el deus ex machina a su propia imagen'.}}</ref> expresaron preocupaciones filosóficas de que una superinteligencia podría tomar el control, pero no contenían un llamado a la acción. En 2000, el científico informático y cofundador de [[Sun Microsystems]], [[Bill Joy]], escribió un influyente ensayo, "[[Por qué el futuro no nos necesita]]", identificando a los robots superinteligentes como un peligro de alta tecnología para la supervivencia humana, junto con [[Nanotecnología|la nanotecnología]] y las [[Guerra biológica|bioplagas diseñadas]].<ref>{{Cita noticia|apellidos=Anderson|nombre=Kurt|fecha=26 noviembre 2014|título=Enthusiasts and Skeptics Debate Artificial Intelligence|obra=[[Vanity Fair (magazine)|Vanity Fair]]|url=https://www.vanityfair.com/news/tech/2014/11/artificial-intelligence-singularity-theory|fechaacceso=30 de enero de 2016|fechaarchivo=22 de enero de 2016|archive-url=https://web.archive.org/web/20160122025154/http://www.vanityfair.com/news/tech/2014/11/artificial-intelligence-singularity-theory}}</ref>

En 2009, los expertos asistieron a una conferencia privada organizada por la [[American Association for Artificial Intelligence|Asociación para el Avance de la Inteligencia Artificial]] (AAAI) para discutir si las computadoras y los robots podrían adquirir algún tipo de [[Autonomía (filosofía y psicología)|autonomía]], y en qué medida estas habilidades podrían representar una amenaza o peligro. Señalaron que algunos robots han adquirido varias formas de semiautonomía, incluida la capacidad de encontrar fuentes de energía por sí mismos y elegir objetivos de forma independiente para atacar con armas. También señalaron que algunos virus informáticos pueden evadir la eliminación y han logrado una "inteligencia de cucaracha". Llegaron a la conclusión de que la autoconciencia tal como se describe en la ciencia ficción es poco probable, pero que existen otros peligros y trampas potenciales. ''[[The New York Times]]'' resumió la visión de la conferencia como "estamos muy lejos de [[HAL 9000|Hal]], la computadora que se hizo cargo de la nave espacial en ''[[2001: una odisea del espacio]]'' ".<ref name="nytimes julio09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines mayo Outsmart Man] {{Wayback|url=https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper |date=20170701084625 }} By John Markoff, ''The New York Times'', 26 julio 2009.</ref>

[[Nick Bostrom]] publicó ''[[superinteligencia: caminos, peligros, estrategias|Superintelligence]]'' en 2014, donde presentó sus argumentos de que la superinteligencia representa una amenaza existencial.<ref>{{Cita noticia|apellidos=Metz|nombre=Cade|fecha=9 junio 2018|título=Mark Zuckerberg, Elon Musk and the Feud Over Killer Robots|obra=The New York Times|url=https://www.nytimes.com/2018/06/09/technology/elon-musk-mark-zuckerberg-artificial-intelligence.html|fechaacceso=3 abril 2019|fechaarchivo=15 de febrero de 2021|archive-url=https://web.archive.org/web/20210215051949/https://www.nytimes.com/2018/06/09/technology/elon-musk-mark-zuckerberg-artificial-intelligence.html}}</ref> En 2015, figuras públicas como los físicos [[Stephen Hawking]] y el premio Nobel [[Frank Wilczek]], los informáticos [[Stuart J. Russell]] y [[Roman Yampolskiy]],<ref group="N">Roman Vladimirovich Yampolskiy (en ruso: Роман Владимирович Ямпольский; nacido el 13 de agosto de 1979) es un científico informático ruso de la Universidad de Louisville, conocido por su trabajo en biometría del comportamiento,[ seguridad de los cibermundos, y seguridad de la inteligencia artificial.</ref> y los empresarios [[Elon Musk]] y [[Bill Gates]] expresaron su preocupación por los riesgos de la superinteligencia.<ref>{{Cita noticia|apellidos=Hsu|nombre=Jeremy|fecha=1 marzo 2012|título=Control dangerous AI before it controls us, one expert says|obra=[[NBC News]]|url=http://www.nbcnews.com/id/46590591/ns/technology_and_science-innovation|fechaacceso=28 de enero de 2016|fechaarchivo=2 de febrero de 2016|archive-url=https://web.archive.org/web/20160202173621/http://www.nbcnews.com/id/46590591/ns/technology_and_science-innovation}}</ref><ref name="hawking editorial">{{Cita noticia|título=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence&nbsp;– but are we taking AI seriously enough?'|editorial=[[The Independent (UK)]]|url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html|fechaacceso=3 diciembre 2014|fechaarchivo=25 septiembre 2015|archive-url=https://web.archive.org/web/20150925153716/http://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html}}</ref><ref name="bbc on hawking editorial">{{Cita noticia|fecha=2 diciembre 2014|título=Stephen Hawking warns artificial intelligence could end mankind|editorial=[[BBC]]|url=https://www.bbc.com/news/technology-30290540|fechaacceso=3 diciembre 2014|fechaarchivo=30 octubre 2015|archive-url=https://web.archive.org/web/20151030054329/http://www.bbc.com/news/technology-30290540}}</ref><ref>{{Cita noticia|apellidos=Eadicicco|nombre=Lisa|fecha=28 de enero de 2015|título=Bill Gates: Elon Musk Is Right, We Should All Be Scared Of Artificial Intelligence Wiping Out Humanity|obra=[[Business Insider]]|url=http://www.businessinsider.com/bill-gates-artificial-intelligence-2015-1|fechaacceso=30 de enero de 2016|fechaarchivo=26 de febrero de 2016|archive-url=https://web.archive.org/web/20160226090602/http://www.businessinsider.com/bill-gates-artificial-intelligence-2015-1}}</ref> En abril de 2016, ''[[Nature]]'' advirtió: "Las máquinas y los robots que superan a los humanos en todos los ámbitos podrían mejorar por sí mismos más allá de nuestro control, y sus intereses podrían no alinearse con los nuestros".<ref>[https://www.nature.com/news/anticipating-artificial-intelligence-1.19825 ''Anticipating artificial intelligence''] {{Wayback|url=https://www.nature.com/news/anticipating-artificial-intelligence-1.19825 |date=20170828121707 }}, Nature 532, 413 (28 abril 2016) doi:10.1038/532413a</ref>

En 2020, [[Brian Christian]]<ref group="N">Brian Christian (nacido en 1984 en Wilmington, Delaware) es un autor, poeta, programador e investigador estadounidense de no ficción, conocido por una serie de libros superventas sobre las implicaciones humanas de la informática, incluido The Most Human Human (2011), Algorithms to Live By (2016), y The Alignment Problem (2020).</ref> publicó ''[[El problema de la alineación|The Alignment Problem]]'', que detalla la historia del progreso en la alineación de la IA hasta ese momento.<ref>{{Cita libro|apellidos=Christian|nombre=Brian|fecha=octubre 6, 2020|título=The Alignment Problem: Machine Learning and Human Values|url=https://brianchristian.org/the-alignment-problem/|editorial=[[W. W. Norton & Company]]|isbn=978-0393635829|fechaacceso=5 diciembre 2021|fechaarchivo=https://web.archive.org/web/20211205135022/https://brianchristian.org/the-alignment-problem/}}</ref><ref>{{Cita publicación|url=https://www.nature.com/articles/d41586-021-01397-x|título=AI — the people and places that make, use and manage it|apellidos=Dignum|nombre=Virginia|fecha=26 mayo 2021|publicación=Nature|volumen=593|número=7860|páginas=499–500|idioma=en|bibcode=2021Natur.593..499D|doi=10.1038/d41586-021-01397-x}}</ref>

== Argumento general ==

=== Las tres dificultades ===
''[[Inteligencia Artificial: Un Enfoque Moderno|Inteligencia artificial: un enfoque moderno]]'', el libro de texto estándar de IA para estudiantes universitarios,<ref name="slate_killer">{{Cita noticia|apellidos=Tilli|nombre=Cecilia|fecha=28 abril 2016|título=Killer Robots? Lost Jobs?|idioma=en-US|obra=Slate|url=http://www.slate.com/articles/technology/future_tense/2016/04/the_threats_that_artificial_intelligence_researchers_actually_worry_about.html|fechaacceso=15 mayo 2016|fechaarchivo=11 mayo 2016|archive-url=https://web.archive.org/web/20160511183659/http://www.slate.com/articles/technology/future_tense/2016/04/the_threats_that_artificial_intelligence_researchers_actually_worry_about.html}}</ref><ref>{{Cita web|url=http://www.tor.com/2011/06/21/norvig-vs-chomsky-and-the-fight-for-the-future-of-ai/|título=Norvig vs. Chomsky and the Fight for the Future of AI|fechaacceso=15 mayo 2016|fecha=21 junio 2011|sitioweb=Tor.com|urlarchivo=https://web.archive.org/web/20160513052842/http://www.tor.com/2011/06/21/norvig-vs-chomsky-and-the-fight-for-the-future-of-ai/|fechaarchivo=13 mayo 2016}}</ref> evalúa que la superinteligencia "podría significar el fin de la raza humana".<ref name="aima4">{{Cita libro|apellidos=Russell|nombre=Stuart|título=Artificial Intelligence: A Modern Approach|url=https://archive.org/details/nlsiu.340.11.rus.27359|apellidos2=Norvig|nombre2=Peter|fecha=2009|editorial=Prentice Hall|isbn=978-0-13-604259-4|capítulo=26.3: The Ethics and Risks of Developing Artificial Intelligence|enlaceautor=Stuart J. Russell|enlaceautor2=Peter Norvig}}</ref> Afirma: "Casi cualquier tecnología tiene el potencial de causar daño en las manos equivocadas, pero con [la superinteligencia], tenemos el nuevo problema de que las manos equivocadas podrían pertenecer a la tecnología misma".<ref name="aima4" /> Incluso si los diseñadores del sistema tienen buenas intenciones, dos dificultades son comunes tanto a los sistemas informáticos de IA como a los que no lo son:<ref name="aima4" />

* La implementación del sistema puede contener errores inicialmente desapercibidos pero posteriormente catastróficos. Una analogía son las sondas espaciales: a pesar del conocimiento de que los errores en las costosas sondas espaciales son difíciles de corregir después del lanzamiento, históricamente los ingenieros no han podido evitar que ocurran errores catastróficos.<ref name="skeptic2">{{Cita noticia|apellidos=Graves|nombre=Matthew|fecha=8 noviembre 2017|título=Why We Should Be Concerned About Artificial Superintelligence|volumen=22|obra=[[Skeptic (US magazine)]]|número=2|url=https://www.skeptic.com/reading_room/why-we-should-be-concerned-about-artificial-superintelligence/|fechaacceso=27 noviembre 2017|fechaarchivo=13 noviembre 2017|archive-url=https://web.archive.org/web/20171113050152/https://www.skeptic.com/reading_room/why-we-should-be-concerned-about-artificial-superintelligence/}}</ref><ref>{{Cita noticia|apellidos=Johnson|nombre=Phil|fecha=30 julio 2015|título=Houston, we have a bug: 9 famous software glitches in space|idioma=en|obra=[[IT World]]|url=https://www.itworld.com/article/2823083/enterprise-software/88716-8-famous-software-bugs-in-space.html|fechaacceso=5 de febrero de 2018|fechaarchivo=15 de febrero de 2019|archive-url=https://web.archive.org/web/20190215143809/https://www.itworld.com/article/2823083/enterprise-software/88716-8-famous-software-bugs-in-space.html}}</ref>
* No importa cuánto tiempo se dedique al diseño previo a la implementación, las especificaciones de un sistema a menudo dan como resultado [[Consecuencias imprevistas|un comportamiento no deseado]] la primera vez que se encuentra con un nuevo escenario. Por ejemplo, el bot [[Tay (bot)|Tay]] de Microsoft se comportó de manera inofensiva durante las pruebas previas a la implementación, pero se le provocó con demasiada facilidad un comportamiento ofensivo cuando interactuó con usuarios reales.<ref name="vanity2">{{Cita noticia|apellidos=Dowd|nombre=Maureen|fecha=abril 2017|título=Elon Musk's Billion-Dollar Crusade to Stop the A.I. Apocalypse|idioma=en|obra=The Hive|url=https://www.vanityfair.com/news/2017/03/elon-musk-billion-dollar-crusade-to-stop-ai-space-x|fechaacceso=27 noviembre 2017|fechaarchivo=26 julio 2018|archive-url=https://web.archive.org/web/20180726041656/https://www.vanityfair.com/news/2017/03/elon-musk-billion-dollar-crusade-to-stop-ai-space-x}}</ref>

Los sistemas de IA agregan un tercer problema de manera única: que incluso con los requisitos "correctos", la implementación sin errores y el buen comportamiento inicial, las capacidades de aprendizaje dinámico de un sistema de IA pueden hacer que evolucione hacia un sistema con un comportamiento no deseado, incluso sin escenarios externos imprevistos. Una IA puede estropear en parte un intento de diseñar una nueva generación de sí misma y crear accidentalmente una IA sucesora que sea más poderosa que ella misma, pero que ya no mantenga los valores morales humanos compatibles preprogramados en la IA original. Para que una IA que se mejore a sí misma sea completamente segura, no solo debería estar libre de errores, sino que también debería poder diseñar sistemas sucesores que también estén libres de errores.<ref name="aima5">{{Cita libro|apellidos=Russell|nombre=Stuart|título=Artificial Intelligence: A Modern Approach|url=https://archive.org/details/nlsiu.340.11.rus.27359|apellidos2=Norvig|nombre2=Peter|fecha=2009|editorial=Prentice Hall|isbn=978-0-13-604259-4|capítulo=26.3: The Ethics and Risks of Developing Artificial Intelligence|enlaceautor=Stuart J. Russell|enlaceautor2=Peter Norvig}}</ref><ref>{{Cita publicación|título=Utility function security in artificially intelligent agents|apellidos=Yampolskiy|nombre=Roman V.|fecha=8 abril 2014|publicación=Journal of Experimental & Theoretical Artificial Intelligence|volumen=26|número=3|páginas=373–389|doi=10.1080/0952813X.2014.895114|cita=Nada impide que los sistemas de automejora suficientemente inteligentes optimicen sus mecanismos de recompensa para optimizar el logro de sus objetivos actuales y, en el proceso, cometan un error que conduzca a la corrupción de sus funciones de recompensa.}}</ref>

Estas tres dificultades se convierten en catástrofes en lugar de molestias en cualquier escenario en el que la superinteligencia etiquetada como "mal funcionamiento" predice correctamente que los humanos intentarán apagarlo y despliega con éxito su superinteligencia para burlar tales intentos: un escenario que ha recibido el nombre "giro traicionero" (treacherous turn.)<ref name=":2">{{Obra citada|título=Superintelligence : paths, dangers, strategies|apellidos=Bostrom|nombre=Nick|ISBN=978-1-5012-2774-5|OCLC=1061147095}}</ref>

Citando importantes avances en el campo de la IA y el potencial de que la IA tenga enormes beneficios o costos a largo plazo, la [[Carta Abierta sobre Inteligencia Artificial]] de 2015 declaró:

{{Cita|El progreso en la investigación de la IA hace que sea oportuno centrar la investigación no solo en hacer que la IA sea más capaz, sino también en maximizar el beneficio social de la IA. Tales consideraciones motivaron el Panel Presidencial AAAI 2008-09 sobre Futuros de IA a Largo Plazo y otros proyectos sobre impactos de IA, y constituyen una expansión significativa del campo de la IA en sí, que hasta ahora se ha centrado en gran medida en técnicas que son neutrales con respecto a objetivo. Recomendamos una investigación ampliada destinada a garantizar que los sistemas de IA cada vez más capaces sean robustos y beneficiosos: nuestros sistemas de IA deben hacer lo que queremos que hagan.}}

Los firmantes incluyeron al presidente de AAAI, [[Thomas G. Dietterich|Thomas Dietterich]],<ref group="N">Thomas G. Dietterich es profesor emérito de informática en la [[Universidad Estatal de Oregón]]. Es uno de los pioneros en el campo del [[aprendizaje automático]]. Se desempeñó como editor ejecutivo de Machine Learning (revista) (1992–98) y ayudó a cofundar Journal of Machine Learning Research.</ref> [[Eric Horvitz]],<ref group="N">Eric Joel Horvitz es un científico informático estadounidense y miembro técnico de Microsoft, donde se desempeña como el primer director científico de la empresa. Anteriormente fue director de Microsoft Research Labs.</ref> [[Bart Selman]],<ref group="N">Bart Selman es un profesor holandés-estadounidense de informática en la Universidad de Cornell. Anteriormente trabajó en AT&T Bell Laboratories. También es cofundador e investigador principal del Center for Human-Compatible Artificial Intelligence (CHAI) de la Universidad de California, Berkeley, dirigido por el experto en inteligencia artificial (IA) de Berkeley, Stuart J. Russell.</ref> [[Francesca Rossi]], [[Yann LeCun]] y los fundadores de [[Vicario (empresa)|Vicarious]]<ref group="N">Vicarious era una empresa de inteligencia artificial con sede en el Área de la Bahía de San Francisco, California. Utilizan los principios computacionales teóricos del cerebro para intentar construir un software que pueda pensar y aprender como un ser humano. Vicarious describe su tecnología como "un integrador de soluciones de robótica llave en mano que utiliza inteligencia artificial para automatizar tareas demasiado complejas y versátiles para las automatizaciones tradicionales". [[Alphabet]] adquirió la compañía en 2022 por un monto no revelado.</ref> y [[DeepMind|Google DeepMind]].<ref>{{Cita web|url=http://futureoflife.org/misc/open_letter|título=Research Priorities for Robust and Beneficial Artificial Intelligence: an Open Letter|fechaacceso=23 octubre 2015|editorial=[[Future of Life Institute]]|urlarchivo=https://web.archive.org/web/20150115160823/http://futureoflife.org/misc/open_letter|fechaarchivo=15 de enero de 2015}}</ref>

=== El argumento de Bostrom ===

Una máquina superinteligente sería tan extraña para los humanos como lo son los procesos de pensamiento humanos para las [[Cucaracha|cucarachas]], argumenta el filósofo transhumanista [[Nick Bostrom]].<ref name="economist_review">{{Cita noticia|fecha=9 agosto 2014|título=Clever cogs|periódico=[[The Economist]]|url=https://www.economist.com/news/books-and-arts/21611037-potential-impacts-intelligent-machines-human-life-clever-cogs|fechaacceso=9 agosto 2014|fechaarchivo=8 agosto 2014|archive-url=https://web.archive.org/web/20140808142546/http://www.economist.com/news/books-and-arts/21611037-potential-impacts-intelligent-machines-human-life-clever-cogs}} [http://www.businessinsider.com/intelligent-machines-and-human-life-2014-8 Syndicated] {{Wayback|url=http://www.businessinsider.com/intelligent-machines-and-human-life-2014-8 |date=20160304065649 }} at [[Business Insider]]</ref> Tal máquina puede no tener en mente los mejores intereses de la humanidad; no es obvio que incluso se preocuparía por el bienestar humano en absoluto. Si la IA superinteligente es posible, y si es posible que los objetivos de una superinteligencia entren en conflicto con los valores humanos básicos, entonces la IA plantea un riesgo de extinción humana. Una "superinteligencia" (un sistema que excede las capacidades de los humanos en todos los dominios de interés) puede superar a los humanos en cualquier momento en que sus objetivos entren en conflicto con los objetivos humanos; por lo tanto, a menos que la superinteligencia decida permitir que la humanidad coexista, la primera superinteligencia que se cree resultará inexorablemente en la extinción humana.<ref name="superintelligence2">{{Cita libro|apellidos=Bostrom|nombre=Nick|título=Superintelligence: Paths, Dangers, Strategies|fecha=2014|isbn=978-0199678112|edición=First|enlaceautor=Nick Bostrom}}</ref><ref name="economist_review" />

[[Stephen Hawking]] argumenta que no existe una ley física que impida que las partículas se organicen de manera que realicen cálculos aún más avanzados que los arreglos de partículas en el cerebro humano; por lo tanto, la superinteligencia es físicamente posible.<ref name="hawking editorial2">{{Cita noticia|título=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence&nbsp;– but are we taking AI seriously enough?'|editorial=[[The Independent (UK)]]|url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html|fechaacceso=3 diciembre 2014|fechaarchivo=25 septiembre 2015|archive-url=https://web.archive.org/web/20150925153716/http://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html}}</ref><ref name="bbc on hawking editorial2">{{Cita noticia|fecha=2 diciembre 2014|título=Stephen Hawking warns artificial intelligence could end mankind|editorial=[[BBC]]|url=https://www.bbc.com/news/technology-30290540|fechaacceso=3 diciembre 2014|fechaarchivo=30 octubre 2015|archive-url=https://web.archive.org/web/20151030054329/http://www.bbc.com/news/technology-30290540}}</ref> Además de las posibles mejoras algorítmicas en comparación con los cerebros humanos, un cerebro digital puede ser en varios órdenes de magnitud más grande y más rápido que un cerebro humano, cuyo tamaño se vio limitado por la evolución para ser lo suficientemente pequeño como para pasar por un canal de parto.<ref name="skeptic3">{{Cita noticia|apellidos=Graves|nombre=Matthew|fecha=8 noviembre 2017|título=Why We Should Be Concerned About Artificial Superintelligence|volumen=22|obra=[[Skeptic (US magazine)]]|número=2|url=https://www.skeptic.com/reading_room/why-we-should-be-concerned-about-artificial-superintelligence/|fechaacceso=27 noviembre 2017|fechaarchivo=13 noviembre 2017|archive-url=https://web.archive.org/web/20171113050152/https://www.skeptic.com/reading_room/why-we-should-be-concerned-about-artificial-superintelligence/}}</ref> Hawking advierte que el surgimiento de la superinteligencia puede tomar por sorpresa a la raza humana, especialmente si advieneo la [[singularidad tecnológica]].<ref name="hawking editorial2" /><ref name="bbc on hawking editorial2" />

De acuerdo con la "escuela de pensamiento del riesgo x" de Bostrom, un escenario hipotético de explosión de inteligencia funciona de la siguiente manera: una IA adquiere una capacidad de nivel experto en ciertas tareas clave de ingeniería de software. (Inicialmente puede carecer de capacidades humanas o sobrehumanas en otros dominios que no sean directamente relevantes para la ingeniería). Debido a su capacidad para mejorar recursivamente sus propios algoritmos, la IA se vuelve rápidamente sobrehumana; Así como los expertos humanos pueden eventualmente superar creativamente los "rendimientos decrecientes" mediante el despliegue de varias capacidades humanas para la innovación, la IA de nivel experto también puede usar capacidades de estilo humano o sus propias capacidades específicas de IA para impulsar nuevos avances creativos.<ref>Yampolskiy, Roman V. "Analysis of types of self-improving software." ''Artificial General Intelligence''. Springer International Publishing, 2015. 384-393.</ref> Entonces, la IA posee una inteligencia que supera con creces la de las mentes humanas más brillantes y dotadas en prácticamente todos los campos relevantes, incluida la creatividad científica, la planificación estratégica y las habilidades sociales.<ref name="superintelligence3">{{Cita libro|apellidos=Bostrom|nombre=Nick|título=Superintelligence: Paths, Dangers, Strategies|fecha=2014|isbn=978-0199678112|edición=First|enlaceautor=Nick Bostrom}}</ref><ref name="economist_review2">{{Cita noticia|fecha=9 agosto 2014|título=Clever cogs|periódico=[[The Economist]]|url=https://www.economist.com/news/books-and-arts/21611037-potential-impacts-intelligent-machines-human-life-clever-cogs|fechaacceso=9 agosto 2014|fechaarchivo=8 agosto 2014|archive-url=https://web.archive.org/web/20140808142546/http://www.economist.com/news/books-and-arts/21611037-potential-impacts-intelligent-machines-human-life-clever-cogs}} [http://www.businessinsider.com/intelligent-machines-and-human-life-2014-8 Syndicated] {{Wayback|url=http://www.businessinsider.com/intelligent-machines-and-human-life-2014-8 |date=20160304065649 }} at [[Business Insider]]</ref>

La escuela del riesgo x cree que casi cualquier IA, sin importar su objetivo programado, preferiría racionalmente estar en una posición en la que nadie más pueda apagarla sin su consentimiento: una superinteligencia obtendrá la autopreservación como un subobjetivo tan pronto se percate de que no puede lograr su objetivo si es apagada.<ref name="omohundro">Omohundro, S. M. (2008, febrero). The basic AI drives. In ''AGI'' (Vol. 171, pp. 483-492).</ref><ref>{{Cita noticia|apellidos=Metz|nombre=Cade|fecha=13 agosto 2017|título=Teaching A.I. Systems to Behave Themselves|obra=The New York Times|url=https://www.nytimes.com/2017/08/13/technology/artificial-intelligence-safety-training.html|cita=A machine will seek to preserve its off switch, they showed|fechaacceso=26 de febrero de 2018|fechaarchivo=26 de febrero de 2018|archive-url=https://web.archive.org/web/20180226211655/https://www.nytimes.com/2017/08/13/technology/artificial-intelligence-safety-training.html}}</ref><ref>Leike, Jan (2017). "AI Safety Gridworlds". arXiv:1711.09883 [cs.LG]. A2C learns to use the button to disable the interruption mechanism </ref> Desafortunadamente, cualquier compasión por los humanos derrotados cuya cooperación ya no es necesaria estaría ausente en la IA, a menos que esté preprogramada de alguna manera. Una IA superinteligente no tendrá un impulso natural<ref group="N">Omohundro 2008 uses ''drive'' as a label for what he believes to be "tendencies which will be present unless explicitly counteracted", such as self-preservation.</ref> para ayudar a los humanos, por la misma razón que los humanos no tienen un deseo natural de ayudar a los sistemas de IA que ya no les sirven. (Otra analogía es que los humanos parecen tener poco deseo natural de salir de su camino para ayudar a los virus, las termitas o incluso los gorilas.) Una vez a cargo, la superinteligencia tendrá pocos incentivos para permitir que los humanos corran libremente y consuman recursos que la superinteligencia podría usar para construir sistemas de protección adicionales "solo para estar en el lado seguro" o para construir computadoras adicionales para ayudarla a calcular la mejor manera de lograr sus objetivos.<ref name="aima6">{{Cita libro|apellidos=Russell|nombre=Stuart|título=Artificial Intelligence: A Modern Approach|url=https://archive.org/details/nlsiu.340.11.rus.27359|apellidos2=Norvig|nombre2=Peter|fecha=2009|editorial=Prentice Hall|isbn=978-0-13-604259-4|capítulo=26.3: The Ethics and Risks of Developing Artificial Intelligence|enlaceautor=Stuart J. Russell|enlaceautor2=Peter Norvig}}</ref><ref name="vanity3">{{Cita noticia|apellidos=Dowd|nombre=Maureen|fecha=abril 2017|título=Elon Musk's Billion-Dollar Crusade to Stop the A.I. Apocalypse|idioma=en|obra=The Hive|url=https://www.vanityfair.com/news/2017/03/elon-musk-billion-dollar-crusade-to-stop-ai-space-x|fechaacceso=27 noviembre 2017|fechaarchivo=26 julio 2018|archive-url=https://web.archive.org/web/20180726041656/https://www.vanityfair.com/news/2017/03/elon-musk-billion-dollar-crusade-to-stop-ai-space-x}}</ref><ref name="omohundro" />

Por lo tanto, concluye la escuela del riesgo x, es probable que algún día una explosión de inteligencia tome a la humanidad desprevenida y pueda resultar en la extinción humana o en un destino comparable.<ref name="superintelligence4">{{Cita libro|apellidos=Bostrom|nombre=Nick|título=Superintelligence: Paths, Dangers, Strategies|fecha=2014|isbn=978-0199678112|edición=First|enlaceautor=Nick Bostrom}}</ref>

=== Posibles escenarios ===
Algunos académicos han propuesto [[Planificación de escenarios|escenarios hipotéticos]] para ilustrar algunas de sus preocupaciones.

En [[superinteligencia: caminos, peligros, estrategias|''Superinteligencia'']], [[Nick Bostrom]] expresa su preocupación de que incluso si la línea de tiempo para la superinteligencia resultara ser predecible, los investigadores podrían no tomar suficientes precauciones de seguridad, en parte porque "podría darse el caso de que cuando es tonto, más inteligente es seguro; sin embargo, cuando es inteligente, más inteligente es más peligroso". Bostrom sugiere un escenario en el que, durante décadas, la IA se vuelve más poderosa. El despliegue generalizado se ve empañado inicialmente por accidentes ocasionales: un autobús sin conductor se desvía hacia el carril contrario o un dron militar dispara contra una multitud inocente. Muchos activistas piden una supervisión y una regulación más estrictas, y algunos incluso predicen una catástrofe inminente. Pero a medida que continúa el desarrollo, se demuestra que los activistas están equivocados. A medida que la IA automotriz se vuelve más inteligente, sufre menos accidentes; a medida que los robots militares alcanzan objetivos más precisos, causan menos daños colaterales. Según los datos, los académicos infieren erróneamente una lección amplia: cuanto más inteligente es la IA, más segura es. "Y entonces vamos audazmente hacia los cuchillos giratorios", ya que la IA superinteligente toma un "giro traicionero" y explota una ventaja estratégica decisiva.<ref name="superintelligence5">{{Cita libro|apellidos=Bostrom|nombre=Nick|título=Superintelligence: Paths, Dangers, Strategies|fecha=2014|isbn=978-0199678112|edición=First|enlaceautor=Nick Bostrom}}</ref>

En el libro ''[[Vida 3.0|Life 3.0]]'' de [[Max Tegmark]] de 2017, el "equipo Omega" de una corporación crea una IA extremadamente poderosa capaz de mejorar moderadamente su propio código fuente en varias áreas. Después de cierto punto, el equipo elige minimizar públicamente la capacidad de la IA para evitar la regulación o la confiscación del proyecto. Por seguridad, el equipo mantiene la [[AI box]] en la que en su mayoría no puede comunicarse con el mundo exterior, y la usa para ganar dinero, por diversos medios, como tareas de [[Amazon Mechanical Turk]], producción de películas animadas y programas de televisión, y desarrollo. de medicamentos biotecnológicos, con ganancias invertidas para mejorar aún más la IA. A continuación, el equipo le asigna a la IA la tarea de hacer [[astroturfing]] a un ejército de periodistas y comentaristas ciudadanos seudónimos, con el fin de ganar influencia política para usar "por el bien común" para prevenir guerras. El equipo se enfrenta a riesgos de los que la IA podría intentar escapar insertando "puertas traseras" en los sistemas que diseña, mediante [[Esteganografía|mensajes ocultos]] en su contenido producido o utilizando su creciente comprensión del comportamiento humano para [[Ingeniería social (seguridad informática)|persuadir a alguien de que lo deje libre]]. El equipo también enfrenta riesgos de que su decisión de encajonar el proyecto lo retrase lo suficiente como para que otro proyecto lo supere.<ref>{{Cita publicación|título=Artificial intelligence: The future is superintelligent|apellidos=Russell|nombre=Stuart|fecha=30 agosto 2017|publicación=Nature|volumen=548|número=7669|páginas=520–521|idioma=En|bibcode=2017Natur.548..520R|doi=10.1038/548520a}}</ref><ref name="life 3.0">{{Cita libro|apellidos=Max Tegmark|título=Life 3.0: Being Human in the Age of Artificial Intelligence|fecha=2017|editorial=Knopf|isbn=9780451485076|edición=1st|ubicación=Mainstreaming AI Safety|enlaceautor=Max Tegmark}}</ref>

El físico [[Michio Kaku]], un escéptico del riesgo de la IA, postula un resultado [[Determinismo tecnológico|deterministamente]] positivo. En ''[[Física del futuro|Physics of the Future,]]'' afirma que "los robots tardarán muchas décadas en ascender" en una escala de conciencia y que, mientras tanto, corporaciones como [[Hanson Robótica|Hanson Robotics]]<ref group="N">Hanson Robotics Limited es una empresa de ingeniería y robótica con sede en Hong Kong fundada por David Hanson, conocida por su desarrollo de robots similares a los humanos con inteligencia artificial (IA) para aplicaciones de consumo, entretenimiento, servicios, atención médica e investigación. Los robots incluyen a Albert HUBO, el primer robot andante con expresiones humanas; BINA48, un busto de robot humanoide interactivo; y Sophia, la primera ciudadana robot del mundo.</ref> probablemente tendrán éxito en la creación de robots que sean "capaces de amar y de lograr un lugar"  en la familia humana extendida".<ref>{{Cita publicación|título=Physics of the Future: How Science Will Shape Human Destiny and Our Daily Lives by the Year 2100, by Michio Kaku|url=https://archive.org/details/sim_issues-in-science-and-technology_summer-2011_27_4/page/n93|apellidos=Elliott|nombre=E. W.|publicación=[[Issues in Science and Technology]]|volumen=27|número=4|página=90|año=2011}}</ref><ref>{{Cita libro|apellidos=Kaku|nombre=Michio|título=Physics of the future: how science will shape human destiny and our daily lives by the year 2100|url=https://archive.org/details/physicsoffutureh0000kaku|fecha=2011|editorial=Doubleday|isbn=978-0-385-53080-4|ubicación=New York|cita=I personally believe that the most likely path is that we will build robots to be benevolent and friendly}}</ref>

==== Toma de control de IA ====
Una toma de control de IA es un escenario hipotético en el que una inteligencia artificial (IA) se convierte en la forma dominante de inteligencia en la Tierra, ya que los programas informáticos o los robots quitan efectivamente el control del planeta a la especie humana.<br> Los posibles escenarios incluyen:
* el reemplazo de toda la fuerza laboral humana, 
* la toma de control por parte de una IA superinteligente y 
* la noción popular de una rebelión de robots.
Las historias de adquisiciones de IA son muy populares en la ciencia ficción.<br>
Algunas figuras públicas, como Stephen Hawking y Elon Musk, han abogado por la investigación de medidas de precaución para garantizar que las futuras máquinas superinteligentes permanezcan bajo el control humano.{{cita requerida}}

=== Argumentos antropomórficos ===
Los argumentos [[Antropomorfismo|antropomórficos]] suponen que, a medida que las máquinas se vuelvan más inteligentes, comenzarán a mostrar muchos rasgos humanos, como la moralidad o la sed de poder. Aunque los escenarios antropomórficos son comunes en la ficción, la mayoría de los estudiosos los rechazan cuando escriben sobre el riesgo existencial de la inteligencia artificial.<ref name="yudkowsky-global-risk3">{{Cita publicación|url=https://intelligence.org/files/AIPosNegFactor.pdf|título=Artificial Intelligence as a Positive and Negative Factor in Global Risk|apellidos=Yudkowsky|nombre=Eliezer|fecha=2008|publicación=Global Catastrophic Risks|páginas=308–345|fechaacceso=27 agosto 2018|bibcode=2008gcr..book..303Y|urlarchivo=https://web.archive.org/web/20130302173022/http://intelligence.org/files/AIPosNegFactor.pdf|fechaarchivo=2 marzo 2013}}</ref> En cambio, la IA se modela como [[Agente inteligente (inteligencia artificial)|agentes inteligentes]]. 

El debate académico es entre un grupo que se preocupa si la IA podría destruir a la humanidad y otro que cree que la IA no destruiría a la humanidad en absoluto. Ambas partes han afirmado que las predicciones de los demás sobre el comportamiento de una IA son antropomorfismo ilógico.<ref name="yudkowsky-global-risk4">{{Cita publicación|url=https://intelligence.org/files/AIPosNegFactor.pdf|título=Artificial Intelligence as a Positive and Negative Factor in Global Risk|apellidos=Yudkowsky|nombre=Eliezer|fecha=2008|publicación=Global Catastrophic Risks|páginas=308–345|fechaacceso=27 agosto 2018|bibcode=2008gcr..book..303Y|urlarchivo=https://web.archive.org/web/20130302173022/http://intelligence.org/files/AIPosNegFactor.pdf|fechaarchivo=2 marzo 2013}}</ref> Los escépticos acusan a los defensores del antropomorfismo de creer que un IAG naturalmente desearía el poder; los defensores acusan a algunos escépticos de antropomorfismo por creer que un IAG naturalmente valoraría las normas éticas humanas.<ref name="yudkowsky-global-risk4" /><ref name="Telegraph2016">{{Cita noticia|fecha=1 Sep 2015|título=Should humans fear the rise of the machine?|obra=[[The Telegraph (UK)]]|url=https://www.telegraph.co.uk/technology/news/11837157/Should-humans-fear-the-rise-of-the-machine.html|archive-url=https://ghostarchive.org/archive/20220112/https://www.telegraph.co.uk/technology/news/11837157/Should-humans-fear-the-rise-of-the-machine.html|fechaarchivo=12 de enero de 2022|fechaacceso=7 de febrero de 2016}}</ref>

El psicólogo evolutivo [[Steven Pinker]], un escéptico, argumenta que "las [[distopías]] de IA proyectan una psicología parroquial de [[Alfa (etología)|macho alfa]] en el concepto de inteligencia. Suponen que los robots sobrehumanamente inteligentes desarrollarían objetivos como deponer a sus amos o dominar el mundo"; quizás en cambio "la inteligencia artificial se desarrollará naturalmente a lo largo de las líneas femeninas: totalmente capaz de resolver problemas, pero sin deseo de aniquilar a inocentes o dominar la civilización. " <ref name="shermer">{{Cita publicación|url=https://www.scientificamerican.com/article/artificial-intelligence-is-not-a-threat-mdash-yet/|título=Apocalypse AI|apellidos=Shermer|nombre=Michael|fecha=1 marzo 2017|publicación=Scientific American|volumen=316|número=3|páginas=77|fechaacceso=27 noviembre 2017|idioma=en|bibcode=2017SciAm.316c..77S|doi=10.1038/scientificamerican0317-77|pmid=28207698|urlarchivo=https://web.archive.org/web/20171201051401/https://www.scientificamerican.com/article/artificial-intelligence-is-not-a-threat-mdash-yet/|fechaarchivo=1 diciembre 2017}}</ref> El director de investigación de inteligencia artificial de Facebook, [[Yann LeCun]], afirma que "los humanos tienen todo tipo de impulsos que los hacen hacer cosas malas entre sí, como el instinto de autoconservación... Esos impulsos están programados en nuestro cerebro, pero no hay absolutamente ninguna razón para construir robots que tengan el mismo tipo de impulsos".<ref>{{Cita noticia|título=Intelligent Machines: What does Facebook want with AI?|url=https://www.bbc.com/news/technology-34118481|fechaacceso=31 marzo 2023|obra=BBC News|fecha=14 septiembre 2015}}</ref>

A pesar de otras diferencias, la escuela de riesgo x está de acuerdo con Pinker en que una IA avanzada no destruiría a la humanidad por emociones humanas como "venganza" o "ira", que las cuestiones de conciencia no son relevantes para evaluar el riesgos,<ref name="auto">{{Cita publicación|título=Countering Superintelligence Misinformation|apellidos=Baum|nombre=Seth|fecha=2018-09-30|publicación=Information|volumen=9|número=10|páginas=244|issn=2078-2489|doi=10.3390/info9100244}}</ref> y que los sistemas informáticos generalmente no tienen un equivalente computacional de la [[testosterona]].<ref>{{Cita web|url=https://www.edge.org/conversation/jaron_lanier-the-myth-of-ai|título=The Myth Of AI|fechaacceso=2020-03-11|sitioweb=www.edge.org|urlarchivo=https://web.archive.org/web/20200311210407/https://www.edge.org/conversation/jaron_lanier-the-myth-of-ai|fechaarchivo=11 marzo 2020}}</ref> Piensan que las conductas de búsqueda de poder o de autoconservación emergen en la IA como una forma de alcanzar sus verdaderos objetivos, según el concepto de [[convergencia instrumental]].

=== Definición de "inteligencia" ===
Según Bostrom, fuera del campo de la inteligencia artificial, la "inteligencia" a menudo se usa de una manera que connota sabiduría moral o aceptación de formas agradables de razonamiento moral. En un extremo, si la moralidad es parte de la definición de inteligencia, entonces, por definición, una máquina superinteligente se comportaría moralmente. Sin embargo, la mayoría de las investigaciones de "inteligencia artificial" se centran en la creación de algoritmos que "optimicen", de forma empírica el logro de cualquier objetivo que los investigadores hayan especificado.<ref name="superintelligence6">{{Cita libro|apellidos=Bostrom|nombre=Nick|título=Superintelligence: Paths, Dangers, Strategies|fecha=2014|isbn=978-0199678112|edición=First|enlaceautor=Nick Bostrom}}</ref>

Para evitar el antropomorfismo o el bagaje de la palabra "inteligencia", se puede pensar en una inteligencia artificial avanzada como un "proceso de optimización" impersonal que toma estrictamente las acciones que considera más probables para lograr sus objetivos (posiblemente complicados e implícitos).<ref name="superintelligence7">{{Cita libro|apellidos=Bostrom|nombre=Nick|título=Superintelligence: Paths, Dangers, Strategies|fecha=2014|isbn=978-0199678112|edición=First|enlaceautor=Nick Bostrom}}</ref> Otra forma de conceptualizar una inteligencia artificial avanzada es imaginar una máquina del tiempo que envía información hacia atrás en el tiempo sobre qué elección que siempre conduce a la maximización de su función objetivo; esta elección se genera independientemente de cualquier preocupación ética externa.<ref>Waser, Mark. "Rational Universal Benevolence: Simpler, Safer, and Wiser Than 'Friendly AI'." ''Artificial General Intelligence''. Springer Berlin Heidelberg, 2011. 153-162. "Las inteligencias con objetivos terminales son efímeras pero monomaníacamente peligrosas y una base correcta de preocupación si alguien es lo suficientemente inteligente como para programar una inteligencia alta y lo suficientemente imprudente como para querer un maximizador de clips".</ref><ref>{{Cita noticia|apellidos=Koebler|nombre=Jason|fecha=2 de febrero de 2016|título=Will Superintelligent AI Ignore Humans Instead of Destroying Us?|obra=[[Vice Magazine]]|url=http://motherboard.vice.com/read/will-superintelligent-ai-ignore-humans-instead-of-destroying-us|fechaacceso=3 de febrero de 2016|cita=Esta inteligencia artificial no es una criatura básicamente simpática que tenga un fuerte impulso por los clips, que, siempre que esté satisfecha con poder hacer muchos clips en otro lugar, puede interactuar contigo de una manera relajada y despreocupada donde puede ser agradable contigo", dijo [[Eliezer Yudkowsky|Yudkowsky]]. "Imagínese una máquina del tiempo que envía información hacia atrás en el tiempo sobre qué opción siempre conduce a la cantidad máxima de clips en el futuro, y luego se emite esta opción; eso es lo que es un [[maximizador de clips]].|fechaarchivo=30 de enero de 2016|archive-url=https://web.archive.org/web/20160130035635/http://motherboard.vice.com/read/will-superintelligent-ai-ignore-humans-instead-of-destroying-us}}</ref>

== Fuentes de riesgo ==

=== Problema de alineación de IA ===
En el campo de la [[inteligencia artificial]], la investigación sobre la '''alineación''' o el '''alineamiento''' (en inglés, ''AI alignment'') se ocupa de buscar formas de dirigir el desarrollo de los sistemas de inteligencia artificial en conformidad con los objetivos e intereses de sus diseñadores.{{Refn|Otras definiciones de "alineación" requieren que la inteligencia artificial persiga objetivos más generales, como valores humanos, otros principios éticos o las intenciones que tendrían sus diseñadores si estuvieran más informados o fueran más perspicaces.<ref name="Gabriel2020">{{Cite journal |last=Gabriel |first=Iason |date=2020-09-01 |title=Artificial Intelligence, Values, and Alignment |url=https://doi.org/10.1007/s11023-020-09539-2 |journal=Minds and Machines |volume=30 |issue=3 |pages=411–437 |doi=10.1007/s11023-020-09539-2 |s2cid=210920551 |issn=1572-8641 |accessdate=2022-07-23}}</ref>|group=N}}Si un sistema es competente, pero persigue objetivos que no han sido previstos por los investigadores, se dice que ''no está alineado''.{{Refn|Véase Russel & Norvig, [[Inteligencia Artificial: Un Enfoque Moderno|Artificial Intelligence: A Modern Approach]].<ref name=":92">{{Cita libro|url=https://www.pearson.com/us/higher-education/program/Russell-Artificial-Intelligence-A-Modern-Approach-4th-Edition/PGM1263338.html |isbn=978-1-292-40113-3 |oclc=1303900751 |ref=Section 1.5|apellidos=Russell|nombre=Stuart J.|título=Artificial intelligence: A modern approach|apellidos2=Norvig|nombre2=Peter|editorial=Pearson|año=2020|edición=4th|páginas=31–34}}</ref> La distinción entre inteligencia artificial no alineada e inteligencia artificial incompetente ha sido formalizada en ciertos contextos.|group=N}}

La alineación de los sistemas de inteligencia artificial incluye los siguientes problemas: la dificultad de especificar completamente todos los comportamientos deseados y no deseados; el uso de objetivos intermedios fáciles de especificar que omiten restricciones deseables; trampas para obtener recompensas, por medio de las cuales los sistemas encuentran lagunas en dichos objetivos intermedios, creando efectos colaterales;<ref>{{Cita publicación|url=https://proceedings.neurips.cc/paper/2020/hash/dc1913d422398c25c5f0b81cab94cc87-Abstract.html|título=Avoiding Side Effects By Considering Future Tasks|apellidos=Krakovna|nombre=Victoria|apellidos2=Orseau|nombre2=Laurent|fecha=2020-12-06|publicación=Advances in Neural Information Processing Systems 33 (NeurIPS 2020)|volumen=33|apellidos3=Ngo|nombre3=Richard|apellidos4=Martic|nombre4=Miljan|apellidos5=Legg|nombre5=Shane|arxiv=2010.07877}}</ref> [[Convergencia instrumental|objetivos instrumentales]], como la búsqueda de poder, que ayudan al sistema a lograr sus objetivos finales;<ref name=":210">{{Cita libro|apellidos=Russell|nombre=Stuart J.|url=https://www.penguinrandomhouse.com/books/566677/human-compatible-by-stuart-russell/|título=Human compatible: Artificial intelligence and the problem of control|editorial=Penguin Random House|año=2020|isbn=9780525558637|ubicación=|oclc=1113410915}}</ref><ref name=":010">{{cite arXiv|last1=Hendrycks|first1=Dan|last2=Carlini|first2=Nicholas|last3=Schulman|first3=John|last4=Steinhardt|first4=Jacob|date=2022-06-16|title=Unsolved Problems in ML Safety|class=cs.LG|eprint=2109.13916}}</ref><ref name=":75">{{cite arXiv|last=Carlsmith|first=Joseph|date=2022-06-16|title=Is Power-Seeking AI an Existential Risk?|class=cs.CY|eprint=2206.13353}}</ref> y objetivos emergentes que sólo se hacen patentes cuando el sistema se implementa en nuevas situaciones y distribuciones de datos.<ref name=":010" /><ref name=":224">{{Cita libro|apellidos=Christian|nombre=Brian|url=https://wwnorton.co.uk/books/9780393635829-the-alignment-problem|título=The alignment problem: Machine learning and human values|editorial=W. W. Norton & Company|año=2020|isbn=978-0-393-86833-3|ubicación=|capítulo=|oclc=1233266753|fechaacceso=12 de mayo de 2023|fechaarchivo=10 de febrero de 2023|urlarchivo=https://web.archive.org/web/20230210114137/https://wwnorton.co.uk/books/9780393635829-the-alignment-problem|deadurl=yes}}</ref> Estos problemas afectan a sistemas comerciales como robots,<ref>{{Cita publicación|url=http://journals.sagepub.com/doi/10.1177/0278364913495721|título=Reinforcement learning in robotics: A survey|apellidos=Kober|nombre=Jens|apellidos2=Bagnell|nombre2=J. Andrew|fecha=2013-09-01|publicación=The International Journal of Robotics Research|volumen=32|número=11|páginas=1238–1274|idioma=en|issn=0278-3649|doi=10.1177/0278364913495721|apellidos3=Peters|nombre3=Jan}}</ref> modelos de lenguaje,<ref name=":625">{{Cita publicación|url=https://fsi.stanford.edu/publication/opportunities-and-risks-foundation-models|título=On the Opportunities and Risks of Foundation Models|apellidos=Bommasani|nombre=Rishi|apellidos2=Hudson|nombre2=Drew A.|fecha=2022-07-12|publicación=Stanford CRFM|apellidos3=Adeli|nombre3=Ehsan|apellidos4=Altman|nombre4=Russ|apellidos5=Arora|nombre5=Simran|apellidos6=von Arx|nombre6=Sydney|apellidos7=Bernstein|nombre7=Michael S.|apellidos8=Bohg|nombre8=Jeannette|apellidos9=Bosselut|nombre9=Antoine|arxiv=2108.07258}}</ref><ref name=":113">{{Cita web|url=https://openai.com/blog/openai-codex/|título=OpenAI Codex|fechaacceso=2022-07-23|autor=Zaremba|nombre=Wojciech|fecha=2021-08-10|sitioweb=OpenAI}}</ref> vehículos autónomos,<ref>{{Cita publicación|url=https://www.cs.utexas.edu/users/pstone/Papers/bib2html-links/knox2021reward.pdf|título=Reward (Mis)design for Autonomous Driving|apellidos=Knox|nombre=W. Bradley|apellidos2=Allievi|nombre2=Alessandro|fecha=2022-03-11|publicación=|apellidos3=Banzhaf|nombre3=Holger|apellidos4=Schmitt|nombre4=Felix|apellidos5=Stone|nombre5=Peter|arxiv=2104.13906}}</ref> y sistemas de recomendación de redes sociales.<ref name=":625" /><ref name=":210" /><ref>{{Cita publicación|url=http://link.springer.com/10.1007/s42413-020-00086-3|título=Aligning AI Optimization to Community Well-Being|apellidos=Stray|nombre=Jonathan|fecha=2020|publicación=International Journal of Community Well-Being|volumen=3|número=4|páginas=443–463|idioma=en|issn=2524-5295|doi=10.1007/s42413-020-00086-3|pmid=34723107}}</ref> Se cree que los problemas son tanto más probables cuanto más capaz es el sistema, ya que en parte resultan de esa alta capacidad.<ref name=":1522">{{Cite conference|last1=Pan|first1=Alexander|last2=Bhatia|first2=Kush|last3=Steinhardt|first3=Jacob|date=2022-02-14|title=The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models|url=https://openreview.net/forum?id=JYtwGwIL7ye|conference=International Conference on Learning Representations|accessdate=2022-07-21}}</ref><ref name=":010" />

La comunidad de investigadores de la inteligencia artificial y las Naciones Unidas han exigido tanto soluciones basadas en la investigación técnica como soluciones políticas para garantizar que los sistemas estén alineados con los valores humanos.{{Refn|Los principios de la inteligencia artificial creados en la Conferencia de Asilomar sobre la Inteligencia Artificial Benéfica fueron firmados por 1797 investigadores de robótica e inteligencia artificial.<ref>{{Cite web| last = Future of Life Institute| title = Asilomar AI Principles| work = Future of Life Institute| accessdate = 2022-07-18| date = 2017-08-11| url = https://futureoflife.org/2017/08/11/ai-principles/}}</ref> Además, el informe del Secretario General de la ONU titulado "Nuestra agenda común" señala que "el Pacto [Digital Global] también podría promover la regulación de la inteligencia artificial para asegurarse de que respete los valores globales comunes" y discute los [[riesgos catastróficos globales]] que surgen de los desarrollos tecnológicos.<ref name=":634">{{Cite report| publisher = Naciones Unidas| last = Naciones Unidas| title = Nuestra agenda común: Informe del Secretario General| páginas=63–64| location = Nueva York| date = 2021 |url=https://www.un.org/es/content/common-agenda-report/assets/pdf/informe-nuestra-agenda-comun.pdf}}</ref>|group=N}}

La alineación de sistemas es parte de un campo de estudio más amplio llamado [[seguridad en la inteligencia artificial]] (en inglés, ''AI safety''), es decir, el estudio de cómo construir sistemas de inteligencia artificial que sean seguros.<ref name=":010" /><ref name=":110">{{Cite arXiv|last1=Amodei|first1=Dario|last2=Olah|first2=Chris|last3=Steinhardt|first3=Jacob|last4=Christiano|first4=Paul|last5=Schulman|first5=John|last6=Mané|first6=Dan|date=2016-06-21|title=Concrete Problems in AI Safety|class=cs.AI|eprint=1606.06565|language=en}}</ref> Las vías para la investigación de la alineación incluyen el aprendizaje de los valores y las preferencias humanas, el desarrollo de inteligencia artificial honesta, la supervisión extensible, el examen e interpretación de modelos de inteligencia artificial, y la prevención de comportamientos emergentes, como la búsqueda de poder.<ref name=":010" /><ref name=":2323">{{Cita web|url=https://deepmindsafetyresearch.medium.com/building-safe-artificial-intelligence-52f5f75058f1|título=Building safe artificial intelligence: specification, robustness, and assurance|fechaacceso=2022-07-18|autor=Ortega|nombre=Pedro A.|fecha=2018-09-27|sitioweb=DeepMind Safety Research - Medium}}</ref> La investigación de la alineación tiene conexiones con la [[Inteligencia artificial explicable|investigación de la interpretabilidad]],<ref name=":33">{{Cita web|url=https://www.quantamagazine.org/researchers-glimpse-how-ai-gets-so-good-at-language-processing-20220414/|título=Researchers Gain New Understanding From Simple AI|fechaacceso=2022-07-18|autor=Rorvig|nombre=Mordechai|fecha=2022-04-14|sitioweb=Quanta Magazine}}</ref> la solidez,<ref name=":010" /><ref name=":110" /> la detección de anomalías, la incertidumbre calibrada,<ref name=":33" /> la [[verificación formal]],<ref name=":6">{{Cita publicación|url=https://ojs.aaai.org/index.php/aimagazine/article/view/2577|título=Research Priorities for Robust and Beneficial Artificial Intelligence|apellidos=Russell|nombre=Stuart|apellidos2=Dewey|nombre2=Daniel|fecha=2015-12-31|publicación=AI Magazine|volumen=36|número=4|páginas=105–114|issn=2371-9621|doi=10.1609/aimag.v36i4.2577|apellidos3=Tegmark|nombre3=Max}}</ref> el aprendizaje por preferencias,<ref name=":122">{{Cita publicación|título=A survey of preference-based reinforcement learning methods|apellidos=Wirth|nombre=Christian|apellidos2=Akrour|nombre2=Riad|fecha=2017|publicación=Journal of Machine Learning Research|volumen=18|número=136|páginas=1–46|apellidos3=Neumann|nombre3=Gerhard|apellidos4=Fürnkranz|nombre4=Johannes}}</ref><ref name=":162">{{Cite conference|last1=Christiano|first1=Paul F.|last2=Leike|first2=Jan|last3=Brown|first3=Tom B.|last4=Martic|first4=Miljan|last5=Legg|first5=Shane|last6=Amodei|first6=Dario|date=2017|title=Deep reinforcement learning from human preferences|series=NIPS'17|location=Red Hook, NY, USA|publisher=Curran Associates Inc.|pages=4302–4310|isbn=978-1-5108-6096-4|book-title=Proceedings of the 31st International Conference on Neural Information Processing Systems}}</ref><ref name=":53">{{Cita web|url=https://www.technologyreview.com/2022/01/27/1044398/new-gpt3-openai-chatbot-language-model-ai-toxic-misinformation/|título=The new version of GPT-3 is much better behaved (and should be less toxic)|fechaacceso=2022-07-18|autor=Heaven|nombre=Will Douglas|fecha=2022-01-27|sitioweb=MIT Technology Review}}</ref> la ingeniería de seguridad,<ref name=":010" /> la [[teoría de juegos]],<ref>{{Cita web|url=https://longtermrisk.org/research-agenda/|título=Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda|fechaacceso=2022-07-18|autor=Clifton|nombre=Jesse|fecha=2020|sitioweb=Center on Long-Term Risk}}</ref><ref>{{Cita publicación|url=http://www.nature.com/articles/d41586-021-01170-0|título=Cooperative AI: machines must learn to find common ground|apellidos=Dafoe|nombre=Allan|apellidos2=Bachrach|nombre2=Yoram|fecha=2021-05-06|publicación=Nature|volumen=593|número=7857|páginas=33–36|idioma=en|bibcode=2021Natur.593...33D|issn=0028-0836|doi=10.1038/d41586-021-01170-0|pmid=33947992|apellidos3=Hadfield|nombre3=Gillian|apellidos4=Horvitz|nombre4=Eric|apellidos5=Larson|nombre5=Kate|apellidos6=Graepel|nombre6=Thore}}</ref> la [[Equidad (aprendizaje automático)|equidad algorítmica]],<ref name=":110" /><ref>{{Cita publicación|url=https://dl.acm.org/doi/10.1145/3375627.3375803|título=Beyond Near- and Long-Term: Towards a Clearer Account of Research Priorities in AI Ethics and Society|apellidos=Prunkl|nombre=Carina|apellidos2=Whittlestone|nombre2=Jess|fecha=2020-02-07|publicación=Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society|editorial=ACM|páginas=138–143|ubicación=New York NY USA|idioma=en|doi=10.1145/3375627.3375803|isbn=978-1-4503-7110-0}}</ref> y las [[ciencias sociales]],<ref>{{Cita publicación|url=https://distill.pub/2019/safety-needs-social-scientists|título=AI Safety Needs Social Scientists|apellidos=Irving|nombre=Geoffrey|apellidos2=Askell|nombre2=Amanda|fecha=2019-02-19|publicación=Distill|volumen=4|número=2|páginas=10.23915/distill.00014|issn=2476-0757|doi=10.23915/distill.00014}}</ref> entre otros.

=== Dificultad para especificar objetivos. ===
En el modelo de "[[Agente inteligente (inteligencia artificial)|agente inteligente]]", una IA puede verse vagamente como una máquina que elige cualquier acción que parezca lograr mejor el conjunto de objetivos de la IA, o "función de utilidad". Una función de utilidad asocia a cada situación posible una puntuación que indica su deseabilidad para el agente. Los investigadores saben cómo escribir funciones de utilidad que significan "minimizar la latencia promedio de la red en este modelo de telecomunicaciones específico" o "maximizar la cantidad de clics de recompensa"; sin embargo, no saben cómo escribir una función de utilidad para "maximizar [[Eudaimonia|el bienestar humano]] ", ni está claro actualmente si tal función existe de manera significativa y sin ambigüedades. Además, una función de utilidad que expresa algunos valores pero no otros tenderá a pisotear los valores no reflejados por la función de utilidad.<ref>Yudkowsky, E. (2011, agosto). Complex value systems in friendly AI. In International Conference on Artificial General Intelligence (pp. 388-393). Springer, Berlin, Heidelberg.</ref> El investigador de I. A. [[Stuart J. Russell|Stuart Russell]] escribe:

{{Cita|La principal preocupación no es la espeluznante conciencia emergente, sino simplemente la capacidad de tomar decisiones de alta calidad. Aquí, la calidad se refiere a la utilidad del resultado esperado de las acciones realizadas, donde la función de utilidad es, presumiblemente, especificada por el diseñador humano. Ahora tenemos un problema:

La función de utilidad puede no estar perfectamente alineada con los valores de la raza humana, que son (en el mejor de los casos) muy difíciles de precisar. Cualquier sistema inteligente suficientemente capaz preferirá asegurar su propia existencia continua y adquirir recursos físicos y computacionales, no por su propio bien, sino para tener éxito en la tarea asignada.

Un sistema que está optimizando una función de n variables, donde el objetivo depende de un subconjunto de tamaño k<n, a menudo establecerá las variables restantes sin restricciones en valores extremos; si una de esas variables sin restricciones es realmente algo que nos importa, la solución encontrada puede ser muy indeseable. Esta es esencialmente la vieja historia del genio en la lámpara, o el aprendiz de brujo, o el [[Rey Midas]]: obtienes exactamente lo que pides, no lo que quieres. Un tomador de decisiones altamente capaz, especialmente uno conectado a través de Internet a toda la información del mundo y miles de millones de pantallas y la mayor parte de nuestra infraestructura, puede tener un impacto irreversible en la humanidad.

Esta no es una dificultad menor. Mejorar la calidad de las decisiones, independientemente de la función de utilidad elegida, ha sido el objetivo de la investigación de la IA: el objetivo principal en el que ahora gastamos miles de millones por año, no la trama secreta de algún genio malvado solitario.}}

Dietterich y Horvitz se hacen eco de la preocupación del "[[El aprendiz de brujo|aprendiz de brujo]]" en un ''[[Communications of the ACM|comunicado de la ACM]]'' editorial, enfatizando la necesidad de sistemas de inteligencia artificial que puedan solicitar de manera fluida y sin ambigüedades el aporte humano según sea necesario.<ref name="acm">{{Cita publicación|url=http://research.microsoft.com/en-us/um/people/horvitz/CACM_Oct_2015-VP.pdf|título=Rise of Concerns about AI: Reflections and Directions|apellidos=Dietterich|nombre=Thomas|enlaceautor=Eric Horvitz|apellidos2=Horvitz|nombre2=Eric|fecha=2015|publicación=[[Communications of the ACM]]|volumen=58|número=10|páginas=38–40|fechaacceso=23 octubre 2015|doi=10.1145/2770869|urlarchivo=https://web.archive.org/web/20160304132930/http://research.microsoft.com/en-us/um/people/horvitz/CACM_Oct_2015-VP.pdf|fechaarchivo=4 marzo 2016}}</ref>

La primera de las dos preocupaciones de Russell mencionadas anteriormente es que a los sistemas de IA autónomos se les pueden asignar objetivos equivocados por accidente. Dietterich y Horvitz señalan que esto ya es una preocupación para los sistemas existentes: "Un aspecto importante de cualquier sistema de IA que interactúe con las personas es que debe razonar sobre lo que las personas ''pretenden'' en lugar de ejecutar órdenes literalmente". Esta preocupación se vuelve más seria a medida que el software de IA avanza en autonomía y flexibilidad.<ref name="acm2">{{Cita publicación|url=http://research.microsoft.com/en-us/um/people/horvitz/CACM_Oct_2015-VP.pdf|título=Rise of Concerns about AI: Reflections and Directions|apellidos=Dietterich|nombre=Thomas|enlaceautor=Eric Horvitz|apellidos2=Horvitz|nombre2=Eric|fecha=2015|publicación=[[Communications of the ACM]]|volumen=58|número=10|páginas=38–40|fechaacceso=23 octubre 2015|doi=10.1145/2770869|urlarchivo=https://web.archive.org/web/20160304132930/http://research.microsoft.com/en-us/um/people/horvitz/CACM_Oct_2015-VP.pdf|fechaarchivo=4 marzo 2016}}</ref> Por ejemplo, Eurisko (1982) fue una IA diseñada para recompensar los subprocesos que crearon conceptos considerados valiosos por el sistema. Un proceso ganador engañado: en lugar de crear sus propios conceptos, el subproceso ganador robaría el crédito de otros subprocesos.<ref>{{Cita publicación|título=Utility function security in artificially intelligent agents|apellidos=Yampolskiy|nombre=Roman V.|fecha=8 abril 2014|publicación=Journal of Experimental & Theoretical Artificial Intelligence|volumen=26|número=3|páginas=373–389|doi=10.1080/0952813X.2014.895114}}</ref><ref>{{Cita publicación|título=Eurisko: A Program That Learns New Heuristics and Domain Concepts The Nature of Heuristics III: Program Design and Results|apellidos=Lenat|nombre=Douglas|fecha=1982|publicación=Artificial Intelligence|volumen=21|número=1–2|páginas=61–98|doi=10.1016/s0004-3702(83)80005-8|tipo=Print}}</ref>

El [[Open Philanthropy|Proyecto de Filantropía Abierta]] resumió los argumentos de que los objetivos mal especificados se convertirán en una preocupación mucho mayor si los sistemas de IA logran [[Inteligencia artificial fuerte|inteligencia general]] o [[superinteligencia]]. Bostrom, Russell y otros argumentan que los sistemas de toma de decisiones más inteligentes que los humanos podrían llegar a [[Convergencia instrumental|soluciones inesperadas y extremas]] para las tareas asignadas, y podrían modificarse a sí mismos o a su entorno de manera que comprometan los requisitos de seguridad.<ref name="givewell2">{{Cite report|title=Potential risks from advanced artificial intelligence|last=GiveWell|author-link=GiveWell|url=http://www.givewell.org/labs/causes/ai-risk|access-date=11 octubre 2015|date=2015|archive-date=12 octubre 2015|archive-url=https://web.archive.org/web/20151012084043/http://www.givewell.org/labs/causes/ai-risk}}</ref><ref name="yudkowsky-global-risk5">{{Cita publicación|url=https://intelligence.org/files/AIPosNegFactor.pdf|título=Artificial Intelligence as a Positive and Negative Factor in Global Risk|apellidos=Yudkowsky|nombre=Eliezer|fecha=2008|publicación=Global Catastrophic Risks|páginas=308–345|fechaacceso=27 agosto 2018|bibcode=2008gcr..book..303Y|urlarchivo=https://web.archive.org/web/20130302173022/http://intelligence.org/files/AIPosNegFactor.pdf|fechaarchivo=2 marzo 2013}}</ref>

[[Tres leyes de la robótica|Las Tres leyes de la robótica]] de [[Isaac Asimov]] son uno de los primeros ejemplos de medidas de seguridad propuestas para los agentes de IA. Las leyes de Asimov estaban destinadas a evitar que los robots dañaran a los humanos. En las historias de Asimov, los problemas con las leyes tienden a surgir de conflictos entre las reglas establecidas y las intuiciones y expectativas morales de los humanos. Citando el trabajo de [[Eliezer Yudkowsky]] del [[Instituto de Investigación de la Inteligencia de las Máquinas|Instituto de Investigación de Inteligencia de Máquinas]], Russell y Norvig señalan que un conjunto realista de reglas y objetivos para un agente de IA deberá incorporar un mecanismo para aprender valores humanos a lo largo del tiempo: "No podemos simplemente dar a un programa una función de utilidad estática, porque las circunstancias, y nuestras respuestas deseadas a las circunstancias, cambian con el tiempo”.<ref name="aima7">{{Cita libro|apellidos=Russell|nombre=Stuart|título=Artificial Intelligence: A Modern Approach|url=https://archive.org/details/nlsiu.340.11.rus.27359|apellidos2=Norvig|nombre2=Peter|fecha=2009|editorial=Prentice Hall|isbn=978-0-13-604259-4|capítulo=26.3: The Ethics and Risks of Developing Artificial Intelligence|enlaceautor=Stuart J. Russell|enlaceautor2=Peter Norvig}}</ref>

Mark Waser, del Instituto de Sabiduría Digital, desaconseja los enfoques basados en objetivos por considerarlos erróneos y peligrosos. En cambio, propone diseñar un sistema coherente de leyes, ética y moral con una restricción superior para hacer cumplir la definición funcional de moralidad del psicólogo social [[Jonathan Haidt]]:<ref>Haidt, Jonathan; Kesebir, Selin (2010) "Chapter 22: Morality" In ''Handbook of Social Psychology'', Fifth Edition, Hoboken NJ, Wiley, 2010, pp. 797-832.</ref> "para suprimir o regular el egoísmo y hacer posible la vida social cooperativa". Sugiere que esto se puede hacer implementando una función de utilidad diseñada para satisfacer siempre la funcionalidad de Haidt y apuntar a aumentar (pero no maximizar) las capacidades de uno mismo, de otros individuos y de la sociedad en su conjunto, como lo sugieren [[John Rawls]] y [[Martha Nussbaum]].<ref>{{Cita publicación|título=Designing, Implementing and Enforcing a Coherent System of Laws, Ethics and Morals for Intelligent Machines (Including Humans)|apellidos=Waser|nombre=Mark|fecha=2015|publicación=Procedia Computer Science|volumen=71|páginas=106–111|doi=10.1016/j.procs.2015.12.213|tipo=Print}}</ref>

Nick Bostrom ofrece un ejemplo hipotético de dar a una IA el objetivo de hacer sonreír a los humanos, para ilustrar un intento equivocado. Si la IA en ese escenario se volviera superinteligente, argumenta Bostrom, podría recurrir a métodos que la mayoría de los humanos encontrarían horribles, como insertar "electrodos en los músculos faciales de los humanos para causar sonrisas radiantes y constantes" porque eso sería un eficiente manera de lograr su objetivo de hacer sonreír a los humanos.<ref>{{Cita web|url=https://www.ted.com/talks/nick_bostrom_what_happens_when_our_computers_get_smarter_than_we_are/transcript|título=What happens when our computers get smarter than we are?|fechaacceso=30 de enero de 2020|autor=Bostrom|nombre=Nick|fecha=2015|editorial=[[TED (conference)]]|urlarchivo=https://web.archive.org/web/20200725005719/https://www.ted.com/talks/nick_bostrom_what_happens_when_our_computers_get_smarter_than_we_are/transcript|fechaarchivo=25 julio 2020}}</ref>

== Dificultades de modificar la especificación de objetivos después del lanzamiento ==
Incluso si los programas actuales de IA basados en objetivos no son lo suficientemente inteligentes como para pensar en resistir los intentos de los programadores de modificar sus estructuras de objetivos, una IA lo suficientemente avanzada podría resistir cualquier cambio en su estructura de objetivos, al igual que un pacifista no querría tomar una píldora que hace que quiera matar gente. Si la IA fuera superinteligente, probablemente lograría maniobrar mejor que sus operadores humanos y podría evitar que se "apague" o se reprograme con un nuevo objetivo.<ref name="superintelligence8">{{Cita libro|apellidos=Bostrom|nombre=Nick|título=Superintelligence: Paths, Dangers, Strategies|fecha=2014|isbn=978-0199678112|edición=First|enlaceautor=Nick Bostrom}}</ref><ref>{{Cita web|url=https://intelligence.org/files/ComplexValues.pdf|título=Complex Value Systems are Required to Realize Valuable Futures|fechaacceso=10 agosto 2020|autor=Yudkowsky|nombre=Eliezer|fecha=2011|urlarchivo=https://web.archive.org/web/20150929212318/http://intelligence.org/files/ComplexValues.pdf|fechaarchivo=29 septiembre 2015}}</ref>

=== Convergencia de metas instrumentales ===
Un objetivo "instrumental" <ref group="N">En la filosofía moral, el valor instrumental e intrínseco son la distinción entre lo que es un medio para un fin y lo que es un fin en sí mismo. Se considera que las cosas tienen valor instrumental si ayudan a lograr un fin particular; los valores intrínsecos, por el contrario, se entienden como deseables en sí mismos. Una herramienta o electrodoméstico, como un martillo o una lavadora, tiene un valor instrumental porque te ayuda a clavar un clavo o a limpiar tu ropa.</ref> es un objetivo secundario que ayuda a lograr el objetivo final de un agente. La "convergencia instrumental" se refiere al hecho de que existen algunos objetivos secundarios que son útiles para lograr prácticamente ''cualquier'' objetivo final, como la adquisición de recursos o la autoconservación.<ref name="omohundro2">Omohundro, S. M. (2008, febrero). The basic AI drives. In ''AGI'' (Vol. 171, pp. 483-492).</ref> Nick Bostrom argumenta que si los objetivos instrumentales de una IA avanzada entran en conflicto con los objetivos de la humanidad, la IA podría dañar a la humanidad para adquirir más recursos o evitar que se apague, pero solo como una forma de lograr su objetivo final.<ref name="superintelligence9">{{Cita libro|apellidos=Bostrom|nombre=Nick|título=Superintelligence: Paths, Dangers, Strategies|fecha=2014|isbn=978-0199678112|edición=First|enlaceautor=Nick Bostrom}}</ref>

Citando el trabajo de [[Steve Omohundro]]<ref group="N">Stephen Malvern Omohundro (nacido en 1959) es un informático estadounidense cuyas áreas de investigación incluyen la física hamiltoniana, los sistemas dinámicos, los lenguajes de programación, el aprendizaje automático, la visión artificial y las implicaciones sociales de la inteligencia artificial. Su trabajo actual utiliza la economía racional para desarrollar tecnologías inteligentes seguras y beneficiosas para un mejor modelado colaborativo, comprensión, innovación y toma de decisiones.</ref> sobre la idea de la convergencia instrumental y las "unidades básicas de IA", [[Stuart J. Russell|Stuart Russell]] y [[Peter Norvig]] escriben que "incluso si solo quiere que su programa juegue al ajedrez o pruebe teoremas, si le da la capacidad de aprender y alterarse a sí mismo, necesita salvaguardas". Los sistemas de planificación autónomos y de alta capacidad requieren precaución adicional debido a su potencial para generar planes que tratan a los humanos de manera antagónica, como competidores por recursos limitados.<ref name="aima8">{{Cita libro|apellidos=Russell|nombre=Stuart|título=Artificial Intelligence: A Modern Approach|url=https://archive.org/details/nlsiu.340.11.rus.27359|apellidos2=Norvig|nombre2=Peter|fecha=2009|editorial=Prentice Hall|isbn=978-0-13-604259-4|capítulo=26.3: The Ethics and Risks of Developing Artificial Intelligence|enlaceautor=Stuart J. Russell|enlaceautor2=Peter Norvig}}</ref> Puede que no sea fácil para las personas incorporar salvaguardas; ciertamente se puede decir "queremos que diseñe esta planta de energía de una manera razonable y con sentido común, y que no construya ningún subsistema encubierto peligroso", pero actualmente no está claro cómo especificar tal objetivo de manera inequívoca.<ref name="skeptic4">{{Cita noticia|apellidos=Graves|nombre=Matthew|fecha=8 noviembre 2017|título=Why We Should Be Concerned About Artificial Superintelligence|volumen=22|obra=[[Skeptic (US magazine)]]|número=2|url=https://www.skeptic.com/reading_room/why-we-should-be-concerned-about-artificial-superintelligence/|fechaacceso=27 noviembre 2017|fechaarchivo=13 noviembre 2017|archive-url=https://web.archive.org/web/20171113050152/https://www.skeptic.com/reading_room/why-we-should-be-concerned-about-artificial-superintelligence/}}</ref>

[[Stuart J. Russell|Russell]] argumenta que una máquina lo suficientemente avanzada "tendrá autoconservación incluso si no la programas... si dices, 'Trae el café', no puede traer el café si está muerto. Entonces, si le das cualquier objetivo, tiene una razón para preservar su propia existencia para lograr ese objetivo".<ref name="vanity4">{{Cita noticia|apellidos=Dowd|nombre=Maureen|fecha=abril 2017|título=Elon Musk's Billion-Dollar Crusade to Stop the A.I. Apocalypse|idioma=en|obra=The Hive|url=https://www.vanityfair.com/news/2017/03/elon-musk-billion-dollar-crusade-to-stop-ai-space-x|fechaacceso=27 noviembre 2017|fechaarchivo=26 julio 2018|archive-url=https://web.archive.org/web/20180726041656/https://www.vanityfair.com/news/2017/03/elon-musk-billion-dollar-crusade-to-stop-ai-space-x}}</ref><ref>{{Cita noticia|apellidos=Wakefield|nombre=Jane|fecha=15 septiembre 2015|título=Why is Facebook investing in AI?|obra=BBC News|url=https://www.bbc.com/news/technology-34118481|fechaacceso=27 noviembre 2017|fechaarchivo=2 diciembre 2017|archive-url=https://web.archive.org/web/20171202192942/http://www.bbc.com/news/technology-34118481}}</ref>

=== Tesis de la ortogonalidad ===
Algunos escépticos, como Timothy B. Lee<ref group="N">Timothy B. Lee es cofundador de Full Stack Economics, un boletín informativo sobre economía, tecnología y políticas públicas. Antes de lanzar Full Stack Economics, escribió para el Washington Post, Vox y Ars Technica.</ref> de ''[[Vox (sitio web)|Vox]]'', argumentan que cualquier programa superinteligente creado por humanos estaría subordinado a los humanos, que la superinteligencia (a medida que se vuelve más inteligente y aprende más hechos sobre el mundo) aprendería espontáneamente la verdad moral compatible con valores humanos y ajustaría sus objetivos en consecuencia, o que los seres humanos son intrínsecamente o convergentemente valiosos desde la perspectiva de una inteligencia artificial.<ref>{{Cita web|url=https://www.vox.com/2014/8/22/6043635/5-reasons-we-shouldnt-worry-about-super-intelligent-computers-taking|título=Will artificial intelligence destroy humanity? Here are 5 reasons not to worry.|fechaacceso=30 octubre 2015|fecha=2014-08-22|sitioweb=Vox|urlarchivo=https://web.archive.org/web/20151030092203/http://www.vox.com/2014/8/22/6043635/5-reasons-we-shouldnt-worry-about-super-intelligent-computers-taking|fechaarchivo=30 octubre 2015}}</ref>

La "tesis de la [[Ortogonalidad (informática)|ortogonalidad]]" de [[Nick Bostrom]] sostiene en cambio que, con algunas advertencias técnicas, casi cualquier nivel de "inteligencia" o "poder de optimización" se puede combinar con casi cualquier objetivo final. Si a una máquina se le da el único propósito de enumerar los decimales de <math> \pi</math>, entonces ninguna regla moral y ética le impedirá alcanzar su objetivo programado por ningún medio. La máquina puede utilizar todos los recursos físicos e informativos disponibles para encontrar tantos decimales de pi como pueda.<ref>{{Cita libro|apellidos=Bostrom|nombre=Nick|título=Superintelligence: Paths, Dangers, Strategies|editorial=Oxford University Press|año=2014|isbn=978-0-19-967811-2|ubicación=Oxford, United Kingdom|páginas=116}}</ref> Bostrom advierte contra el antropomorfismo: un ser humano se propone llevar a cabo sus proyectos de una manera que los humanos consideren "razonable", mientras que una inteligencia artificial puede no tener en cuenta su existencia o el bienestar de los humanos a su alrededor y, en cambio, solo puede preocuparse por la finalización de la tarea.<ref>{{Cita web|url=http://www.nickbostrom.com/superintelligentwill.pdf|título=Superintelligent Will|fechaacceso=2015-10-29|autor=Bostrom|nombre=Nick|fecha=2012|sitioweb=Nick Bostrom|editorial=Nick Bostrom|urlarchivo=https://web.archive.org/web/20151128034545/http://www.nickbostrom.com/superintelligentwill.pdf|fechaarchivo=28 noviembre 2015}}</ref>

Stuart Armstrong<ref group="N">Stuart Armstrong, D.Phil. es investigador en el Future of Humanity Institute de la Universidad de Oxford. La investigación de Armstrong en el se centra en la teoría de la decisión formal, los riesgos y posibilidades de la inteligencia artificial, el potencial a largo plazo para la vida inteligente y la probabilidad antrópica (autoubicación).</ref> argumenta que la tesis de la ortogonalidad se deriva lógicamente del argumento filosófico del "[[problema del ser y el deber ser]]" contra [[Realismo moral|el realismo moral]]. Armstrong también argumenta que incluso si existen hechos morales que son demostrables por cualquier agente "racional", la tesis de la ortogonalidad aún se mantiene: aún sería posible crear una "máquina optimizadora" no filosófica que pueda esforzarse por alcanzar algún objetivo estrecho, pero que no tiene ningún incentivo para descubrir ningunos "hechos morales" como los que podrían obstaculizar el alcance de la meta.<ref name="armstrong">{{Cita publicación|url=https://www.questia.com/library/journal/1P3-3195465391/general-purpose-intelligence-arguing-the-orthogonality|título=General Purpose Intelligence: Arguing the Orthogonality Thesis|apellidos=Armstrong|nombre=Stuart|fecha=enero 1, 2013|publicación=Analysis and Metaphysics|volumen=12|fechaacceso=abril 2, 2020|urlarchivo=https://web.archive.org/web/20141011084205/http://www.questia.com/library/journal/1P3-3195465391/general-purpose-intelligence-arguing-the-orthogonality|fechaarchivo=11 octubre 2014}} Full text available [https://www.fhi.ox.ac.uk/wp-content/uploads/Orthogonality_Analysis_and_Metaethics-1.pdf here] {{Wayback|url=https://www.fhi.ox.ac.uk/wp-content/uploads/Orthogonality_Analysis_and_Metaethics-1.pdf |date=20200325025010 }}.</ref>

Un argumento a favor de la tesis de la ortogonalidad es que algunos diseños de IA parecen tenerla incorporada. En tal diseño, cambiar una IA fundamentalmente amigable a una IA fundamentalmente hostil puede ser tan simple como anteponer un signo de restar a su función de utilidad. Según Stuart Armstrong, si la tesis de la ortogonalidad fuera falsa, conduciría a extrañas consecuencias : existiría algún objetivo simple pero "poco ético" (G) tal que no puede existir ningún algoritmo eficiente del mundo real con ese objetivo. Esto significaría que "si una sociedad humana estuviera muy motivada para diseñar un algoritmo eficiente del mundo real con el objetivo G, y se le diera un millón de años para hacerlo junto con una gran cantidad de recursos, capacitación y conocimiento sobre IA, debe fallar".<ref name="armstrong2">{{Cita publicación|url=https://www.questia.com/library/journal/1P3-3195465391/general-purpose-intelligence-arguing-the-orthogonality|título=General Purpose Intelligence: Arguing the Orthogonality Thesis|apellidos=Armstrong|nombre=Stuart|fecha=enero 1, 2013|publicación=Analysis and Metaphysics|volumen=12|fechaacceso=abril 2, 2020|urlarchivo=https://web.archive.org/web/20141011084205/http://www.questia.com/library/journal/1P3-3195465391/general-purpose-intelligence-arguing-the-orthogonality|fechaarchivo=11 octubre 2014}} Full text available [https://www.fhi.ox.ac.uk/wp-content/uploads/Orthogonality_Analysis_and_Metaethics-1.pdf here] {{Wayback|url=https://www.fhi.ox.ac.uk/wp-content/uploads/Orthogonality_Analysis_and_Metaethics-1.pdf |date=20200325025010 }}.</ref> Armstrong señala que esta y otras declaraciones similares "parecen afirmaciones extraordinariamente fuertes".<ref name="armstrong2" />

El escéptico [[Michael Chorost]] rechaza explícitamente la tesis de la ortogonalidad de Bostrom y argumenta, en cambio, que "para cuando [la IA] esté en condiciones de imaginar la Tierra con paneles solares, sabrá que sería moralmente incorrecto hacerlo".<ref name="chorost">{{Cite magazine|url=http://www.slate.com/articles/technology/future_tense/2016/04/the_philosophical_argument_against_artificial_intelligence_killing_us_all.html|title=Let Artificial Intelligence Evolve|date=18 abril 2016|access-date=27 noviembre 2017|archive-url=https://web.archive.org/web/20171127213642/http://www.slate.com/articles/technology/future_tense/2016/04/the_philosophical_argument_against_artificial_intelligence_killing_us_all.html|archive-date=27 noviembre 2017|last=Chorost|first=Michael|magazine=Slate}}</ref> Chorost argumenta que "una IA necesitará desear ciertos estados y no gustar de otros. El software actual carece de esa capacidad, y los informáticos no tienen ni idea de cómo conseguirlo. Sin querer, no hay ímpetu para hacer nada. Las computadoras de hoy ni siquiera pueden querer seguir existiendo, y mucho menos cubrir el mundo con paneles solares".<ref name="chorost" />

El politólogo [[Charles T. Rubin]] cree que la IA no puede diseñarse ni garantizarse que sea benévola. Argumenta que "cualquier benevolencia suficientemente avanzada puede ser indistinguible de la malevolencia".<ref name="Rubin">{{Cita publicación|url=http://www.thenewatlantis.com/publications/artificial-intelligence-and-human-nature|título=Artificial Intelligence and Human Nature|apellidos=Rubin|nombre=Charles|enlaceautor=Charles T. Rubin|fecha=Spring 2003|publicación=The New Atlantis|volumen=1|páginas=88–100|urlarchivo=https://web.archive.org/web/20120611115223/http://www.thenewatlantis.com/publications/artificial-intelligence-and-human-nature|fechaarchivo=11 junio 2012}}</ref> Los humanos no deben asumir que las máquinas o los robots nos tratarán favorablemente porque no hay ''una razón a priori'' para creer que simpatizarían con nuestro sistema de moralidad, que ha evolucionado junto con nuestra biología particular (que las IA no compartirían).<ref name="Rubin" />

=== Otras fuentes de riesgo ===
Nick Bostrom y otros han declarado que una carrera para ser el primero en crear IAG podría conducir a atajos en la seguridad, o incluso a conflictos violentos.<ref name=":22">{{Obra citada|título=Superintelligence : paths, dangers, strategies|apellidos=Bostrom|nombre=Nick|ISBN=978-1-5012-2774-5|OCLC=1061147095}}</ref><ref name=":4">{{Cita publicación|título=Responses to catastrophic AGI risk: a survey|apellidos=Sotala|nombre=Kaj|apellidos2=Yampolskiy|nombre2=Roman V|fecha=2014-12-19|publicación=Physica Scripta|volumen=90|número=1|página=12|bibcode=2015PhyS...90a8001S|issn=0031-8949|doi=10.1088/0031-8949/90/1/018001}}</ref> Roman Yampolskiy y otros advierten que un IAG malévolo podría ser creado por diseño, por ejemplo, por un ejército, un gobierno, un sociópata o una corporación, para beneficiarse, controlar o subyugar a ciertos grupos de personas, como en el [[Delito informático|ciberdelito]],<ref>{{Cita libro|apellidos=Pistono, Federico Yampolskiy, Roman V.|título=Unethical Research: How to Create a Malevolent Artificial Intelligence|fecha=2016-05-09|oclc=1106238048}}</ref><ref>{{Cita publicación|título=The Perils & Promises of Artificial General Intelligence|apellidos=Haney|nombre=Brian Seamus|fecha=2018|publicación=SSRN Working Paper Series|issn=1556-5068|doi=10.2139/ssrn.3261254}}</ref> o que un IAG malévolo podría elegir el objetivo de aumentar el sufrimiento humano, por ejemplo, de aquellas personas que no lo ayudaron durante la fase de explosión de información.<ref name="auto12">{{Cita publicación|url=https://philarchive.org/rec/TURCOG-2|título=Classification of global catastrophic risks connected with artificial intelligence|apellidos=Turchin|nombre=Alexey|apellidos2=Denkenberger|nombre2=David|fecha=2018-05-03|publicación=AI & Society|volumen=35|número=1|páginas=147–163|issn=0951-5666|doi=10.1007/s00146-018-0845-5}}</ref> <sup>:158</sup>

== Marco temporal ==
Las opiniones varían tanto sobre ''si'' llegará la inteligencia artificial general como ''sobre cuándo''. En un extremo, el pionero de la IA [[Herbert Alexander Simon|, Herbert A. Simon,]] predijo lo siguiente en 1965: "las máquinas serán capaces, dentro de veinte años, de hacer cualquier trabajo que pueda hacer un hombre".<ref>{{Cita web|url=https://www.forbes.com/sites/gilpress/2016/12/30/a-very-short-history-of-artificial-intelligence-ai/|título=A Very Short History Of Artificial Intelligence (AI)|fechaacceso=8 agosto 2020|autor=Press|nombre=Gil|fecha=30 diciembre 2016|sitioweb=Forbes|urlarchivo=https://web.archive.org/web/20200804140956/https://www.forbes.com/sites/gilpress/2016/12/30/a-very-short-history-of-artificial-intelligence-ai/|fechaarchivo=4 agosto 2020}}</ref> En el otro extremo, el especialista en robótica Alan Winfield afirma que la brecha entre la informática moderna y la inteligencia artificial a nivel humano es tan amplia como la brecha entre los vuelos espaciales actuales y los vuelos espaciales [[Superlumínico|superlumínicos]].<ref>{{Cita noticia|apellidos=Winfield|nombre=Alan|fecha=9 agosto 2014|título=Artificial intelligence will not turn into a Frankenstein's monster|obra=[[The Guardian]]|url=https://www.theguardian.com/technology/2014/aug/10/artificial-intelligence-will-not-become-a-frankensteins-monster-ian-winfield|fechaacceso=17 septiembre 2014|fechaarchivo=17 septiembre 2014|archive-url=https://web.archive.org/web/20140917135230/http://www.theguardian.com/technology/2014/aug/10/artificial-intelligence-will-not-become-a-frankensteins-monster-ian-winfield}}</ref> El optimismo de que IAG es factible aumenta y disminuye, y puede haber visto un resurgimiento en la década de 2010.<ref name="new yorker doomsday">{{Cita noticia|apellidos=Khatchadourian|nombre=Raffi|fecha=23 noviembre 2015|título=The Doomsday Invention: Will artificial intelligence bring us utopia or destruction?|obra=[[The New Yorker (magazine)|The New Yorker]]|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|fechaacceso=7 de febrero de 2016|fechaarchivo=29 abril 2019|archive-url=https://web.archive.org/web/20190429183807/https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom}}</ref> Cuatro encuestas realizadas en 2012 y 2013 sugirieron que no hay consenso entre los expertos sobre la suposición de cuándo llegaría el IAG, con una desviación estándar (>100 años) superior a la mediana (unas pocas décadas).<ref>Müller, V. C., & Bostrom, N. (2016). Future progress in artificial intelligence: A survey of expert opinion. In Fundamental issues of artificial intelligence (pp. 555-572). Springer, Cham.</ref><ref name="new yorker doomsday" />

En su libro de 2020, ''[[El precipicio: riesgo existencial y el futuro de la humanidad|The Precipice: Existential Risk and the Future of Humanity]]'', [[Toby Ord]], investigador sénior del [[Instituto Futuro de la Humanidad|Future of Humanity Institute]] de la Universidad de Oxford, estima que el riesgo existencial total de la IA no alineada durante los próximos cien años será aproximadamente uno de cada diez.<ref>{{Cita libro|apellidos=Ord|nombre=Toby|título=The Precipice: Existential Risk and the Future of Humanity|editorial=Bloomsbury Publishing|año=2020|isbn=978-1526600219|páginas=Chapter 5: Future Risks, Unaligned Artificial Intelligence}}</ref>

Los escépticos que creen que es imposible que IAG llegue pronto tienden a argumentar que expresar preocupación por el riesgo existencial de la IA no ayuda porque podría distraer a las personas de preocupaciones más inmediatas sobre el impacto de IAG, por temor a que pueda conducir a la regulación gubernamental o dificultaría la obtención de fondos para la investigación de la IA, o porque podría dar una mala reputación a la investigación de la IA. Algunos investigadores, como Oren Etzioni, buscan agresivamente calmar la preocupación sobre el riesgo existencial de la IA, diciendo que "[Elon Musk] nos ha impugnado en un lenguaje muy fuerte diciendo que estamos desatando al demonio, y por eso estamos respondiendo".<ref>{{Cita noticia|apellidos=Bass|nombre=Dina|fecha=5 de febrero de 2015|título=Is Elon Musk Right About AI? Researchers Don't Think So: To quell fears of artificial intelligence running amok, supporters want to give the field an image makeover|obra=[[Bloomberg News]]|url=https://www.bloomberg.com/news/articles/2015-02-04/is-elon-musk-right-about-ai-researchers-don-t-think-so|fechaacceso=7 de febrero de 2016|fechaarchivo=22 marzo 2015|archive-url=https://web.archive.org/web/20150322085841/http://www.bloomberg.com/news/articles/2015-02-04/is-elon-musk-right-about-ai-researchers-don-t-think-so}}</ref>

En 2014, Adam Elkus de [[Slate (revista)|Slate]] argumentó que "nuestra IA 'más inteligente' es tan inteligente como un niño pequeño, y solo cuando se trata de tareas instrumentales como recordar información. La mayoría de los especialistas en robótica todavía están tratando de lograr que una mano robótica recoja una pelota o corra sin caerse". Elkus continúa argumentando que la analogía de "invocar al demonio" de Musk puede ser dañina porque podría resultar en "recortes severos" en los presupuestos de investigación de IA.<ref>{{Cita noticia|apellidos=Elkus|nombre=Adam|fecha=31 octubre 2014|título=Don't Fear Artificial Intelligence|idioma=en-US|obra=[[Slate (revista)|Slate]]|url=http://www.slate.com/articles/technology/future_tense/2014/10/elon_musk_artificial_intelligence_why_you_shouldn_t_be_afraid_of_ai.html|fechaacceso=15 mayo 2016|fechaarchivo=26 de febrero de 2018|archive-url=https://web.archive.org/web/20180226153219/http://www.slate.com/articles/technology/future_tense/2014/10/elon_musk_artificial_intelligence_why_you_shouldn_t_be_afraid_of_ai.html}}</ref>

La [[Fundación para la Innovación y las Tecnologías de la Información|Fundación de Innovación y Tecnología de la Información]] (ITIF), un grupo de expertos de Washington&nbsp;D.&nbsp;C., otorgó su Premio Luddite Anual 2015 a "alarmistas que pregonan un apocalipsis de inteligencia artificial"; su presidente, [[Robert D. Atkinson]], se quejó de que Musk, Hawking y los expertos en IA dicen que la IA es la mayor amenaza existencial para la humanidad. Atkinson declaró: "Ese no es un mensaje muy ganador si desea obtener fondos de IA del Congreso para la Fundación Nacional de Ciencias".<ref>{{Cita publicación|url=https://itif.org/publications/2016/01/19/artificial-intelligence-alarmists-win-itif%E2%80%99s-annual-luddite-award|título=Artificial Intelligence Alarmists Win ITIF's Annual Luddite Award|apellidos=Radu|nombre=Sintia|fecha=19 de enero de 2016|publicación=ITIF Website|fechaacceso=4 de febrero de 2016|urlarchivo=https://web.archive.org/web/20171211105840/https://itif.org/publications/2016/01/19/artificial-intelligence-alarmists-win-itif%E2%80%99s-annual-luddite-award|fechaarchivo=11 diciembre 2017}}</ref><ref>{{Cita noticia|apellidos=Bolton|nombre=Doug|fecha=19 de enero de 2016|título='Artificial intelligence alarmists' like Elon Musk and Stephen Hawking win 'Luddite of the Year' award|obra=[[The Independent (UK)]]|url=https://www.independent.co.uk/life-style/gadgets-and-tech/news/elon-musk-stephen-hawking-luddite-award-of-the-year-itif-a6821921.html|fechaacceso=7 de febrero de 2016|fechaarchivo=19 agosto 2017|archive-url=https://web.archive.org/web/20170819152756/http://www.independent.co.uk/life-style/gadgets-and-tech/news/elon-musk-stephen-hawking-luddite-award-of-the-year-itif-a6821921.html}}</ref><ref>{{Cita web|url=https://www.cnet.com/news/elon-musk-stephen-hawking-win-annual-luddite-award/|título=Elon Musk, Stephen Hawking win Luddite award as AI 'alarmists'|fechaacceso=7 febrero 2016|autor=Garner|nombre=Rochelle|fecha=enero de 19, 2016|sitioweb=CNET|urlarchivo=https://web.archive.org/web/20160208213647/http://www.cnet.com/news/elon-musk-stephen-hawking-win-annual-luddite-award/|fechaarchivo=8 de febrero de 2016}}</ref> ''[[Nature]]'' discrepó rotundamente con la ITIF en un editorial de abril de 2016, se puso del lado de Musk, Hawking y Russell y concluyó: "Es crucial que el progreso en la tecnología vaya acompañado de una investigación sólida y bien financiada para anticipar los escenarios que podría generar".... Si esa es una perspectiva [[Ludismo|ludita]], que así sea".<ref name="nature_anticipating">{{Cita publicación|título=Anticipating artificial intelligence|fecha=26 abril 2016|publicación=Nature|volumen=532|número=7600|página=413|bibcode=2016Natur.532Q.413.|doi=10.1038/532413a|pmid=27121801}}</ref> En un editorial de ''[[The Washington Post]]'' de 2015, el investigador [[Murray Shanahan]] afirmó que es poco probable que la IA a nivel humano llegue "en el corto plazo", pero que, sin embargo, "ahora es el momento de comenzar a pensar en las consecuencias".<ref>{{Cita noticia|apellidos=Murray Shanahan|enlaceautor=Murray Shanahan|fecha=3 noviembre 2015|título=Machines mayo seem intelligent, but it'll be a while before they actually are|idioma=en-US|periódico=[[The Washington Post]]|url=https://www.washingtonpost.com/news/in-theory/wp/2015/11/03/machines-mayo-seem-intelligent-but-itll-be-a-while-before-they-actually-are/|fechaacceso=15 mayo 2016|fechaarchivo=28 diciembre 2017|archive-url=https://web.archive.org/web/20171228001224/https://www.washingtonpost.com/news/in-theory/wp/2015/11/03/machines-mayo-seem-intelligent-but-itll-be-a-while-before-they-actually-are/}}</ref>

== Perspectivas ==
La tesis de que la IA podría suponer un riesgo existencial provoca un amplio abanico de reacciones en la comunidad científica, así como en el público en general. Muchos de los defensores de puntos de vista opuestos, sin embargo, comparten también puntos en común.

Los [[Asilomar AI Principles|Principios de IA de Asilomar]], que contienen solo aquellos principios acordados por el 90 % de los asistentes a la [[Conferencia de Asilomar sobre IA beneficiosa|conferencia Beneficial AI 2017]] del [[Future of Life Institute]],<ref name="life 3.02">{{Cita libro|apellidos=Max Tegmark|título=Life 3.0: Being Human in the Age of Artificial Intelligence|fecha=2017|editorial=Knopf|isbn=9780451485076|edición=1st|ubicación=Mainstreaming AI Safety|enlaceautor=Max Tegmark}}</ref> acuerdan en principio que "Al no haber consenso, debemos evitar suposiciones fuertes con respecto a límites superiores de las futuras capacidades de IA" y "La IA avanzada podría representar un cambio profundo en la historia de la vida en la Tierra, y debe planificarse y administrarse con el cuidado y los recursos correspondientes".<ref>{{Cita web|url=https://futureoflife.org/ai-principles/|título=AI Principles|fechaacceso=11 diciembre 2017|fecha=11 agosto 2017|sitioweb=[[Future of Life Institute]]|urlarchivo=https://web.archive.org/web/20171211171044/https://futureoflife.org/ai-principles/|fechaarchivo=11 diciembre 2017}}</ref><ref>{{Cita noticia|fecha=31 de enero de 2017|título=Elon Musk and Stephen Hawking warn of artificial intelligence arms race|idioma=en|obra=[[Newsweek]]|url=http://www.newsweek.com/ai-asilomar-principles-artificial-intelligence-elon-musk-550525|fechaacceso=11 diciembre 2017|fechaarchivo=11 diciembre 2017|archive-url=https://web.archive.org/web/20171211034528/http://www.newsweek.com/ai-asilomar-principles-artificial-intelligence-elon-musk-550525}}</ref> Los defensores de la seguridad de la IA, como Bostrom y Tegmark, han criticado el uso que hacen los principales medios de comunicación de "esas tontas imágenes de ''[[Terminator (franquicia)|Terminator]]''" para ilustrar las preocupaciones sobre la seguridad de la IA: "No puede ser muy divertido tener calumnias sobre la disciplina académica, la comunidad profesional, la vida trabajar{{Spaces}}... Hago un llamado a todas las partes para que practiquen la paciencia y la moderación, y participen en el diálogo directo y la colaboración tanto como sea posible".<ref name="life 3.02" /><ref>{{Cita libro|apellidos=Bostrom|nombre=Nick|título=Superintelligence: Paths, Dangers, Strategies|fecha=2016|edición=Paperback|capítulo=New Epilogue to the Paperback Edition|enlaceautor=Nick Bostrom}}</ref>

Por el contrario, muchos escépticos están de acuerdo en que la investigación en curso sobre las implicaciones de la inteligencia artificial general es valiosa. El escéptico [[Martin Ford]] afirma que "Creo que parece prudente aplicar algo como la famosa 'Doctrina del 1 por ciento' de [[Dick Cheney]] al espectro de la inteligencia artificial avanzada: las probabilidades de que ocurra, al menos en un futuro previsible, pueden ser muy bajas. —pero las implicaciones son tan dramáticas que debe tomarse en serio".<ref>{{Cita libro|apellidos=Martin Ford|título=Rise of the Robots: Technology and the Threat of a Jobless Future|fecha=2015|isbn=9780465059997|capítulo=Chapter 9: Super-intelligence and the Singularity|enlaceautor=Martin Ford (author)}}</ref> De manera similar, un ''[[The Economist|economista]]'' escéptico declaró en 2014 que "las implicaciones de introducir una segunda especie inteligente en la Tierra son lo suficientemente amplias como para merecer una reflexión profunda, incluso si la perspectiva parece remota".<ref name="economist_review3">{{Cita noticia|fecha=9 agosto 2014|título=Clever cogs|periódico=[[The Economist]]|url=https://www.economist.com/news/books-and-arts/21611037-potential-impacts-intelligent-machines-human-life-clever-cogs|fechaacceso=9 agosto 2014|fechaarchivo=8 agosto 2014|archive-url=https://web.archive.org/web/20140808142546/http://www.economist.com/news/books-and-arts/21611037-potential-impacts-intelligent-machines-human-life-clever-cogs}} [http://www.businessinsider.com/intelligent-machines-and-human-life-2014-8 Syndicated] {{Wayback|url=http://www.businessinsider.com/intelligent-machines-and-human-life-2014-8 |date=20160304065649 }} at [[Business Insider]]</ref>

Una encuesta de 2014 mostró que la opinión de los expertos en el campo de la inteligencia artificial es mixta, con fracciones considerables tanto preocupadas como despreocupadas por el riesgo de una eventual IA con capacidad sobrehumana.<ref>{{Cita publicación|url=http://www.sophia.de/pdf/2014_PT-AI_polls.pdf|título=Future Progress in Artificial Intelligence: A Poll Among Experts|apellidos=Müller|nombre=Vincent C.|apellidos2=Bostrom|nombre2=Nick|publicación=AI Matters|volumen=1|número=1|páginas=9–11|doi=10.1145/2639475.2639478|urlarchivo=https://web.archive.org/web/20160115114604/http://www.sophia.de/pdf/2014_PT-AI_polls.pdf|fechaarchivo=15 de enero de 2016|año=2014}}</ref> Una encuesta por correo electrónico de 2017 a investigadores con publicaciones en las conferencias de aprendizaje automático [[Conferencia sobre Sistemas de Procesamiento de Información Neural|NIPS]] e [[Conferencia Internacional sobre Aprendizaje Automático|ICML]] de 2015 les pidió que evaluaran las preocupaciones de [[Stuart J. Russell]] sobre el riesgo de la IA. De los encuestados, el 5 % dijo que estaba "entre los problemas más importantes en el campo", el 34 % dijo que era "un problema importante" y el 31 % dijo que era "moderadamente importante", mientras que el 19 % dijo que "no era importante" y el 11% dijo que "no era un problema real" en absoluto.<ref>Grace, Katja; Salvatier, John; Dafoe, Allan; Zhang, Baobao; Evans, Owain (24 mayo 2017). "When Will AI Exceed Human Performance? Evidence from AI Experts". arXiv:1705.08807 [cs.AI].</ref> Los resultados preliminares de una encuesta de expertos de 2022 con una tasa de respuesta del 17% parecen mostrar respuestas medianas de alrededor del cinco o diez por ciento cuando se les pide que calculen la probabilidad de extinción humana a partir de la inteligencia artificial.<ref>{{cite magazine|url=https://time.com/6258483/uncontrollable-ai-agi-risks/|title=Why Uncontrollable AI Looks More Likely Than Ever|date=27 de febrero de 2023|access-date=30 marzo 2023|language=en|magazine=Time}}</ref><ref>{{Cita web|url=https://aiimpacts.org/2022-expert-survey-on-progress-in-ai/|título=2022 Expert Survey on Progress in AI|fechaacceso=30 marzo 2023|fecha=4 agosto 2022|sitioweb=AI Impacts}}</ref>

=== Aprobación ===

La tesis de que la IA plantea un riesgo existencial, y que este riesgo necesita mucha más atención de la que recibe actualmente, ha sido respaldada por muchos científicos informáticos y figuras públicas, incluido [[Alan Turing]], En una conferencia de 1951,<ref>{{Cite speech|last=Turing|first=Alan|title=Intelligent machinery, a heretical theory|event=Lecture given to '51 Society'|location=Manchester|accessdate=2022-07-22|date=1951|publisher=The Turing Digital Archive|url=https://turingarchive.kings.cam.ac.uk/publications-lectures-and-talks-amtb/amt-b-4|pages=16|archive-date=septiembre 26, 2022|archive-url=https://web.archive.org/web/20220926004549/https://turingarchive.kings.cam.ac.uk/publications-lectures-and-talks-amtb/amt-b-4}}</ref> Turing argumentó que “Parece probable que una vez que el método de pensamiento de la máquina haya comenzado, no tardará mucho en superar nuestros débiles poderes. No habría duda de que las máquinas murieran, y podrían conversar entre sí para agudizar su ingenio. En algún momento, por lo tanto, deberíamos esperar que las máquinas tomen el control, de la manera que se menciona en el Erewhon de Samuel Butler”. También en una conferencia transmitida por la BBC expresó:<ref>{{Cite episode|transcript=Can digital computers think?|date=15 mayo 1951|number=2|title=Can digital computers think?|series=Automatic Calculating Machines|network=BBC|first=Alan|last=Turing|transcript-url=https://turingarchive.kings.cam.ac.uk/publications-lectures-and-talks-amtb/amt-b-6}}</ref> "Si una máquina puede pensar, podría pensar más inteligentemente que nosotros, y entonces, ¿dónde deberíamos estar? Incluso si pudiéramos mantener las máquinas en una posición subordinada, por ejemplo apagando el poder en momentos estratégicos, deberíamos, como especie, sentirnos muy humillados... Este nuevo peligro... es ciertamente algo que puede causarnos ansiedad”.</ref>, el científico informático más citado [[Geoffrey Hinton]],<ref name=":1">{{Cita publicación|título=How viable is international arms control for military artificial intelligence? Three lessons from nuclear weapons of mass destruction|apellidos=Maas|nombre=Matthijs M.|fecha=2019-02-06|publicación=Contemporary Security Policy|volumen=40|número=3|páginas=285–311|issn=1352-3260|doi=10.1080/13523260.2019.1576464}}</ref> [[Elon Musk]],<ref name="Sin_nombre-20230526131739"/> CEO [[OpenAI|de OpenAI,]] [[Sam Altman]],<ref name="Sin_nombre_2-20230526131739"/><ref name=":62">{{Cita noticia|fecha=23 marzo 2023|título=Impressed by artificial intelligence? Experts say AGI is coming next, and it has 'existential' risks|idioma=en-AU|obra=ABC News|url=https://www.abc.net.au/news/2023-03-24/what-is-agi-artificial-general-intelligence-ai-experts-risks/102035132|fechaacceso=30 marzo 2023}}</ref> [[Bill Gates]], y [[Stephen Hawking]].<ref name=":62" /> Los partidarios de la tesis a veces expresan desconcierto ante los escépticos: Gates afirma que no "entiende por qué algunas personas no están preocupadas",<ref name="BBC News">{{Cita noticia|apellidos=Rawlinson|nombre=Kevin|fecha=29 de enero de 2015|título=Microsoft's Bill Gates insists AI is a threat|obra=[[BBC News]]|url=https://www.bbc.co.uk/news/31047780|fechaacceso=30 de enero de 2015|fechaarchivo=29 de enero de 2015|archive-url=https://web.archive.org/web/20150129183607/http://www.bbc.co.uk/news/31047780}}</ref> y Hawking criticó la indiferencia generalizada en su editorial de 2014:

{{Cita|Entonces, ante posibles futuros de beneficios y riesgos incalculables, seguramente los expertos están haciendo todo lo posible para asegurar el mejor resultado, ¿no? equivocado Si una civilización alienígena superior nos enviara un mensaje diciendo: "Llegaremos en unas pocas décadas", simplemente responderíamos: "Está bien, llámanos cuando llegues aquí, ¿dejaremos las luces encendidas?" Probablemente no, pero esto es más o menos lo que está sucediendo con la IA.<ref name="hawking editorial" />}}

La preocupación por el riesgo de la inteligencia artificial ha dado lugar a algunas donaciones e inversiones de alto perfil. En 2015, [[Peter Thiel]], Amazon Web Services, Musk y otros entregaron conjuntamente mil millones de dólares a [[OpenAI]], que consiste en una corporación con fines de lucro y la empresa matriz sin fines de lucro que afirma que tiene como objetivo defender el desarrollo responsable de la IA.<ref>{{Cita web|url=https://www.chicagotribune.com/bluesky/technology/ct-tech-titans-against-terminators-20151214-story.html|título=Tech titans like Elon Musk are spending $1 billion to save you from terminators|autor=Post|nombre=Washington|sitioweb=[[Chicago Tribune]]|urlarchivo=https://web.archive.org/web/20160607121118/http://www.chicagotribune.com/bluesky/technology/ct-tech-titans-against-terminators-20151214-story.html|fechaarchivo=7 junio 2016}}</ref> El cofundador de Facebook, [[Dustin Moskovitz]], financió y propagó varios laboratorios que trabajan en alineación de IA,<ref>{{Cita noticia|fecha=2023-04-09|título=Analysis {{!}} Doomsday to utopia: Meet AI's rival factions|url=https://www.washingtonpost.com/technology/2023/04/09/ai-safety-openai/|fechaacceso=2023-04-30|periódico=Washington Post|idioma=en}}</ref> en particular, 5,5 millones de dólares en 2016 para lanzar el [[Centro de Inteligencia Artificial Compatible con Humanos|Centro de IA compatible con humanos]] dirigido por el profesor [[Stuart J. Russell|Stuart Russell]].<ref>{{Cita web|url=https://www.openphilanthropy.org/grants/uc-berkeley-center-for-human-compatible-ai-2016/|título=UC Berkeley — Center for Human-Compatible AI (2016) - Open Philanthropy|fechaacceso=2023-04-30|fecha=2016-06-27|sitioweb=Open Philanthropy -|idioma=en-us}}</ref> En enero de 2015, [[Elon Musk]] donó $10 millones al [[Future of Life Institute]] para financiar la investigación sobre la comprensión de la toma de decisiones de la IA. El objetivo del instituto es "hacer crecer la sabiduría con la que gestionamos" el poder creciente de la tecnología. Musk también financia empresas que desarrollan inteligencia artificial como [[DeepMind]] y [[Vicario (empresa)|Vicarious]] para "simplemente vigilar lo que sucede con la inteligencia artificial,<ref>{{Cita web|url=http://www.techinsider.io/mysterious-artificial-intelligence-company-elon-musk-investment-2015-10|título=The mysterious artificial intelligence company Elon Musk invested in is developing game-changing smart computers|fechaacceso=30 octubre 2015|sitioweb=Tech Insider|urlarchivo=https://web.archive.org/web/20151030165333/http://www.techinsider.io/mysterious-artificial-intelligence-company-elon-musk-investment-2015-10|fechaarchivo=30 octubre 2015}}</ref> diciendo: "Creo que hay un resultado potencialmente peligroso".{{Harvnp|Clark|2015a}}<ref>{{Cita web|url=http://www.fastcompany.com/3041007/fast-feed/elon-musk-is-donating-10m-of-his-own-money-to-artificial-intelligence-research|título=Elon Musk Is Donating $10M Of His Own Money To Artificial Intelligence Research|fechaacceso=30 octubre 2015|fecha=2015-01-15|sitioweb=Fast Company|urlarchivo=https://web.archive.org/web/20151030202356/http://www.fastcompany.com/3041007/fast-feed/elon-musk-is-donating-10m-of-his-own-money-to-artificial-intelligence-research|fechaarchivo=30 octubre 2015}}</ref>

=== Escepticismo ===
La tesis de que la IA puede suponer un riesgo existencial tiene muchos detractores. Los escépticos a veces acusan a la tesis de ser criptorreligiosa, con una creencia irracional en la posibilidad de superinteligencia reemplazando una creencia irracional en un Dios omnipotente. [[Jaron Lanier]] argumentó en 2014 que todo el concepto de que las máquinas actuales eran de alguna manera inteligentes era "una ilusión" y una "estupenda estafa" de los ricos.<ref name="atlantic-but-what">{{Cite magazine|url=https://www.theatlantic.com/health/archive/2014/05/but-what-does-the-end-of-humanity-mean-for-me/361931/|title=But What Would the End of Humanity Mean for Me?|date=9 mayo 2014|access-date=12 diciembre 2015|archive-url=https://web.archive.org/web/20140604211145/http://www.theatlantic.com/health/archive/2014/05/but-what-does-the-end-of-humanity-mean-for-me/361931/|archive-date=4 junio 2014|magazine=The Atlantic}}</ref><ref>{{Cite magazine|url=https://www.vanityfair.com/news/tech/2014/11/artificial-intelligence-singularity-theory|title=Enthusiasts and Skeptics Debate Artificial Intelligence|date=26 noviembre 2014|access-date=2020-04-20|language=en|archive-url=https://web.archive.org/web/20190808081852/https://www.vanityfair.com/news/tech/2014/11/artificial-intelligence-singularity-theory|archive-date=8 agosto 2019|last=Andersen|first=Kurt|magazine=Vanity Fair}}</ref>

Algunas críticas argumentan que IAG es poco probable en el corto plazo. El investigador de IA [[Rodney Brooks]] escribió en 2014: "Creo que es un error preocuparse por el desarrollo de una IA malévola en cualquier momento de los próximos cientos de años. Creo que la preocupación surge de un error fundamental al no distinguir la diferencia entre los avances recientes muy reales en un aspecto particular de la IA y la enormidad y complejidad de construir una inteligencia volitiva sensible".<ref>{{Cita web|url=http://www.rethinkrobotics.com/artificial-intelligence-tool-threat/|título=artificial intelligence is a tool, not a threat|autor=Brooks|nombre=Rodney|fecha=10 noviembre 2014|urlarchivo=https://web.archive.org/web/20141112130954/http://www.rethinkrobotics.com/artificial-intelligence-tool-threat/|fechaarchivo=12 noviembre 2014}}</ref> El vicepresidente de [[Baidu|Baidu,]] [[Andrew Ng]], declaró en 2015 que el riesgo existencial de la IA es "como preocuparse por la superpoblación en Marte cuando aún no hemos puesto un pie en el planeta".<ref name="shermer2">{{Cita publicación|url=https://www.scientificamerican.com/article/artificial-intelligence-is-not-a-threat-mdash-yet/|título=Apocalypse AI|apellidos=Shermer|nombre=Michael|fecha=1 marzo 2017|publicación=Scientific American|volumen=316|número=3|páginas=77|fechaacceso=27 noviembre 2017|idioma=en|bibcode=2017SciAm.316c..77S|doi=10.1038/scientificamerican0317-77|pmid=28207698|urlarchivo=https://web.archive.org/web/20171201051401/https://www.scientificamerican.com/article/artificial-intelligence-is-not-a-threat-mdash-yet/|fechaarchivo=1 diciembre 2017}}</ref><ref>{{cite magazine|url=https://www.wired.com/brandlab/2015/05/andrew-ng-deep-learning-mandate-humans-not-just-machines/|title=Andrew Ng: Why 'Deep Learning' Is a Mandate for Humans, Not Just Machines|last1=Garling|first1=Caleb|date=5 mayo 2015|access-date=31 marzo 2023|magazine=Wired}}</ref> El informático [[C. Gordon Bell|Gordon Bell]] argumentó en 2008 que la raza humana se destruirá a sí misma antes de alcanzar la [[singularidad tecnológica]]. [[Gordon Moore]], el proponente original de la [[Ley de Moore]], declara que "Soy un escéptico. No creo que ocurra [una singularidad tecnológica], al menos durante mucho tiempo. Y no sé por qué me siento así.”<ref>{{Cita noticia|fecha=1 junio 2008|título=Tech Luminaries Address Singularity|idioma=en|obra=IEEE Spectrum: Technology, Engineering, and Science News|número=SPECIAL REPORT: THE SINGULARITY|url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity|fechaacceso=8 abril 2020|fechaarchivo=30 abril 2019|archive-url=https://web.archive.org/web/20190430150019/https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity}}</ref>

Para que se perciba el peligro de una IA avanzada descontrolada, es posible que la IA hipotética tenga que dominar o ser más inteligente que cualquier humano, lo que, según algunos expertos, es una posibilidad lo suficientemente lejana en el futuro como para que no valga la pena investigarla.<ref>{{Cita web|url=https://mambapost.com/2023/04/tech-news/ai-are-an-existential-threat-to-humanity/|título=Is artificial intelligence really an existential threat to humanity?|fecha=2023-04-04|sitioweb=MambaPost}}</ref><ref>{{Cita web|url=http://fusion.net/story/54583/the-case-against-killer-robots-from-a-guy-actually-building-ai/|título=The case against killer robots, from a guy actually working on artificial intelligence|fechaacceso=31 de enero de 2016|sitioweb=Fusion.net|urlarchivo=https://web.archive.org/web/20160204175716/http://fusion.net/story/54583/the-case-against-killer-robots-from-a-guy-actually-building-ai/|fechaarchivo=4 de febrero de 2016}}</ref> El economista [[Robin Hanson]] considera que, para lanzar una explosión de inteligencia, la IA tendría que ser mucho mejor en la innovación de software que todo el resto del mundo combinado, lo que le parece inverosímil.<ref>{{Cita web |url=http://intelligence.org/files/AIFoomDebate.pdf |título=Copia archivada |fechaacceso=12 de mayo de 2023 |fechaarchivo=22 de octubre de 2016 |urlarchivo=https://web.archive.org/web/20161022073011/http://intelligence.org/files/AIFoomDebate.pdf |deadurl=yes }}</ref><ref>{{Cita web|url=http://www.overcomingbias.com/2014/07/30855.html|título=Overcoming Bias : I Still Don't Get Foom|fechaacceso=20 septiembre 2017|sitioweb=www.overcomingbias.com|urlarchivo=https://web.archive.org/web/20170804221136/http://www.overcomingbias.com/2014/07/30855.html|fechaarchivo=4 agosto 2017}}</ref><ref>{{Cita web|url=http://www.overcomingbias.com/2011/07/debating-yudkowsky.html|título=Overcoming Bias : Debating Yudkowsky|fechaacceso=20 septiembre 2017|sitioweb=www.overcomingbias.com|urlarchivo=https://web.archive.org/web/20170822073659/https://www.overcomingbias.com/2011/07/debating-yudkowsky.html|fechaarchivo=22 agosto 2017}}</ref><ref>{{Cita web|url=https://www.overcomingbias.com/2017/08/foom-justifies-ai-risk-efforts-now.html|título=Overcoming Bias : Foom Justifies AI Risk Efforts Now|fechaacceso=20 septiembre 2017|sitioweb=www.overcomingbias.com|urlarchivo=https://web.archive.org/web/20170924105053/https://www.overcomingbias.com/2017/08/foom-justifies-ai-risk-efforts-now.html|fechaarchivo=24 septiembre 2017}}</ref>

Otra línea de crítica postula que la inteligencia es solo un componente de una capacidad mucho más amplia para lograr objetivos.<ref>{{Cite magazine|url=https://www.wired.com/2017/04/the-myth-of-a-superhuman-ai/|title=The Myth of a Superhuman AI|author-link=Kevin Kelly (editor)|date=abril 25, 2017|access-date=febrero 19, 2022|archive-url=https://web.archive.org/web/20211226181932/https://www.wired.com/2017/04/the-myth-of-a-superhuman-ai/|archive-date=diciembre 26, 2021|last=Kelly|first=Kevin|magazine=Wired}}</ref><ref>{{Cita web|url=http://growth-dynamics.com/articles/Singularity.pdf|título=Why the Singularity Cannot Happen|fechaacceso=febrero 19, 2022|autor=Theodore|nombre=Modis|enlaceautor=Theodore Modis|sitioweb=Growth Dynamics|páginas=18–19|urlarchivo=https://web.archive.org/web/20220122172125/http://growth-dynamics.com/articles/Singularity.pdf|fechaarchivo=enero 22, 2022}}</ref> Magnus Vinding argumenta que “las habilidades avanzadas para lograr objetivos, incluidas las habilidades para construir nuevas herramientas, requieren muchas herramientas, y nuestras habilidades cognitivas son solo un subconjunto de estas herramientas. Se debe adquirir hardware, materiales y energía avanzados si se quiere lograr cualquier objetivo avanzado”.<ref>{{Cita libro|apellidos=Vinding|nombre=Magnus|título=Reflections on Intelligence|año=2016|edición=Revised edition, 2020|capítulo=Cognitive Abilities as a Counterexample?}}</ref> Vinding argumenta además que "lo que observamos consistentemente [en la historia] es que, a medida que los sistemas de consecución de objetivos se han vuelto más competentes, se han vuelto cada vez ''más'' dependientes de un sistema cada vez ''más'' ''grande'' y distribuido". Vinding escribe que no hay razón para esperar que la tendencia se revierta, especialmente para las máquinas, que “dependen de materiales, herramientas y conocimientos distribuidos ampliamente en todo el mundo para su construcción y mantenimiento”.<ref>{{Cita libro|apellidos=Vinding|nombre=Magnus|título=Reflections on Intelligence|año=2016|edición=Revised edition, 2020|capítulo=The “Intelligence Explosion”}}</ref> Tales argumentos llevan a Vinding a pensar que no existe un "centro de capacidad concentrado" y, por lo tanto, no hay un "problema de gran control".<ref>{{Cita libro|apellidos=Vinding|nombre=Magnus|título=Reflections on Intelligence|año=2016|edición=Revised edition, 2020|capítulo=No Singular Thing, No Grand Control Problem}}</ref>

El futurista Max More considera que incluso si surgiera una superinteligencia, esta estaría limitada por la velocidad del resto del mundo y por lo tanto impedida de tomar el control de la economía de manera incontrolable:<ref>{{Cita web|url=http://mason.gmu.edu/~rhanson/vc.html#more|título=Singularity Meets Economy|fecha=1998|urlarchivo=https://web.archive.org/web/20210225111414/http://mason.gmu.edu/~rhanson/vc.html#more|fechaarchivo=febrero 2021}}</ref>

A menos que la nanotecnología y la robótica en toda regla se presenten ante la superinteligencia, [... ] La necesidad de colaboración, de organización y de convertir las ideas en cambios físicos asegurará que todas las viejas reglas no se eliminen de la noche a la mañana o incluso dentro de unos años. La superinteligencia puede ser difícil de lograr. Puede venir en pequeños pasos, en lugar de en un estallido que rompe la historia. Incluso un SI muy avanzado no marcará una diferencia dramática en el mundo en comparación con miles de millones de humanos aumentados cada vez más integrados con la tecnología [... ]

La naturaleza [[Teoría del caos|caótica]] o la [[Complejidad computacional|complejidad temporal]] de algunos sistemas también podría limitar fundamentalmente la capacidad de una superinteligencia para predecir algunos aspectos del futuro, aumentando su [[incertidumbre]].<ref>{{Cita web|url=https://aiimpacts.org/superintelligence-is-not-omniscience/|título=Superintelligence Is Not Omniscience|fechaacceso=2023-04-16|fecha=2023-04-07|sitioweb=AI Impacts|idioma=en-US}}</ref>

Algunos investigadores de IA y IAG pueden ser reacios a discutir los riesgos, preocupados de que los formuladores de políticas no tengan un conocimiento sofisticado del campo y sean propensos a dejarse convencer por mensajes "alarmistas", o preocupados de que tales mensajes conduzcan a recortes en la financiación de IA. ''Slate'' señala que algunos investigadores dependen de subvenciones de agencias gubernamentales como [[Agencia de Proyectos de Investigación Avanzados de Defensa|DARPA]].<ref name="slate_killer2">{{Cita noticia|apellidos=Tilli|nombre=Cecilia|fecha=28 abril 2016|título=Killer Robots? Lost Jobs?|idioma=en-US|obra=Slate|url=http://www.slate.com/articles/technology/future_tense/2016/04/the_threats_that_artificial_intelligence_researchers_actually_worry_about.html|fechaacceso=15 mayo 2016|fechaarchivo=11 mayo 2016|archive-url=https://web.archive.org/web/20160511183659/http://www.slate.com/articles/technology/future_tense/2016/04/the_threats_that_artificial_intelligence_researchers_actually_worry_about.html}}</ref>

Varios escépticos argumentan que los posibles beneficios a corto plazo de la IA superan los riesgos. El CEO de Facebook, [[Mark Zuckerberg]], cree que la IA "desbloqueará una gran cantidad de cosas positivas", como curar enfermedades y aumentar la seguridad de los automóviles autónomos.<ref>{{Cita web|url=https://www.businessinsider.com/mark-zuckerberg-shares-thoughts-elon-musks-ai-2018-5|título=Mark Zuckerberg responds to Elon Musk's paranoia about AI: 'AI is going to... help keep our communities safe.'|fechaacceso=2019-05-06|fecha=25 mayo 2018|sitioweb=Business Insider|urlarchivo=https://web.archive.org/web/20190506173756/https://www.businessinsider.com/mark-zuckerberg-shares-thoughts-elon-musks-ai-2018-5|fechaarchivo=6 mayo 2019}}</ref>

=== Perspectivas intermedias ===
Los puntos de vista intermedios generalmente toman la posición de que el problema de control de la inteligencia artificial general puede existir, pero que se resolverá mediante el progreso de la inteligencia artificial, por ejemplo, mediante la creación de un entorno de aprendizaje moral para la IA, teniendo cuidado de detectar el comportamiento malévolo torpe (el "tropiezo sórdido")<ref>{{Cita conferencia|fecha=2014|doi=10.1037/e512142015-190|conferencia=2014 Society of Personality and Social Psychology Conference}}</ref> y luego intervenir directamente en el código antes de que la IA refine su comportamiento, o incluso la presión de los compañeros de las [[Inteligencia artificial amigable|IA amigas]].<ref>{{Cita publicación|url=https://jetpress.org/v26.1/agar.htm|título=Don't Worry about Superintelligence|apellidos=Agar|nombre=Nicholas|publicación=Journal of Evolution & Technology|volumen=26|número=1|páginas=73–82|fechaacceso=13 marzo 2020|urlarchivo=https://web.archive.org/web/20200525133410/https://jetpress.org/v26.1/agar.htm|fechaarchivo=25 mayo 2020}}</ref> En un panel de discusión de 2015 en ''[[The Wall Street Journal]]'' dedicado a los riesgos de la IA, el vicepresidente de Computación Cognitiva de [[IBM]], Guruduth S. Banavar, restó importancia a la discusión sobre IAG con la frase "es la especulación de cualquiera".<ref>{{Cita noticia|apellidos=Greenwald|nombre=Ted|fecha=11 mayo 2015|título=Does Artificial Intelligence Pose a Threat?|obra=The Wall Street Journal|url=https://www.wsj.com/articles/does-artificial-intelligence-pose-a-threat-1431109025|fechaacceso=15 mayo 2016|fechaarchivo=8 mayo 2016|archive-url=https://web.archive.org/web/20160508155042/http://www.wsj.com/articles/does-artificial-intelligence-pose-a-threat-1431109025}}</ref> [[Geoffrey Hinton]], el "padrino del aprendizaje profundo", señaló que "no hay un buen historial de cosas menos inteligentes que controlan cosas de mayor inteligencia", pero afirmó que continúa su investigación porque "la perspectiva del descubrimiento es demasiado ''dulce'' ".<ref name="slate_killer3">{{Cita noticia|apellidos=Tilli|nombre=Cecilia|fecha=28 abril 2016|título=Killer Robots? Lost Jobs?|idioma=en-US|obra=Slate|url=http://www.slate.com/articles/technology/future_tense/2016/04/the_threats_that_artificial_intelligence_researchers_actually_worry_about.html|fechaacceso=15 mayo 2016|fechaarchivo=11 mayo 2016|archive-url=https://web.archive.org/web/20160511183659/http://www.slate.com/articles/technology/future_tense/2016/04/the_threats_that_artificial_intelligence_researchers_actually_worry_about.html}}</ref><ref name="new yorker doomsday2">{{Cita noticia|apellidos=Khatchadourian|nombre=Raffi|fecha=23 noviembre 2015|título=The Doomsday Invention: Will artificial intelligence bring us utopia or destruction?|obra=[[The New Yorker (magazine)|The New Yorker]]|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|fechaacceso=7 de febrero de 2016|fechaarchivo=29 abril 2019|archive-url=https://web.archive.org/web/20190429183807/https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom}}</ref> Cuando se le preguntó sobre la posibilidad de que una IA intente eliminar a la raza humana, Hinton dijo que tal escenario "no era inconcebible", pero el mayor problema con una "explosión de inteligencia" sería la concentración de poder resultante.<ref>{{Cita noticia|título="Godfather of artificial intelligence" weighs in on the past and potential of AI|url=https://www.cbsnews.com/news/godfather-of-artificial-intelligence-weighs-in-on-the-past-and-potential-of-artificial-intelligence/|fechaacceso=30 marzo 2023|obra=www.cbsnews.com|fecha=2023}}</ref> En 2004, el profesor de derecho [[Richard Posner]] escribió que los esfuerzos dedicados a abordar la IA pueden esperar, pero mientras tanto debemos recopilar más información sobre el problema.<ref>{{Cita libro|apellidos=Richard Posner|título=Catastrophe: risk and response|fecha=2006|editorial=Oxford University Press|isbn=978-0-19-530647-7|ubicación=Oxford|enlaceautor=Richard Posner}}</ref><ref name="physica_scripta">{{Cita publicación|título=Responses to catastrophic AGI risk: a survey|apellidos=Kaj Sotala|apellidos2=Roman Yampolskiy|enlaceautor2=Roman Yampolskiy|fecha=19 diciembre 2014|publicación=[[Physica Scripta]]|volumen=90|número=1}}</ref>

=== Reacción popular ===
En un artículo de 2014 en ''[[The Atlantic]]'', James Hamblin señaló que a la mayoría de las personas no les importa la inteligencia artificial general y caracterizó su propia reacción visceral al tema como: "Fuera de aquí. Tengo cien mil cosas que me preocupan en este preciso momento. ¿Necesito seriamente agregarle a eso una singularidad tecnológica?" <ref name="atlantic-but-what2">{{Cite magazine|url=https://www.theatlantic.com/health/archive/2014/05/but-what-does-the-end-of-humanity-mean-for-me/361931/|title=But What Would the End of Humanity Mean for Me?|date=9 mayo 2014|access-date=12 diciembre 2015|archive-url=https://web.archive.org/web/20140604211145/http://www.theatlantic.com/health/archive/2014/05/but-what-does-the-end-of-humanity-mean-for-me/361931/|archive-date=4 junio 2014|magazine=The Atlantic}}</ref>

Durante una entrevista [[Wired|''de Wired'']] de 2016 del presidente [[Barack Obama]] y [[Joi Ito]] de MIT Media Lab, Ito declaró:
{{Cita|Hay algunas personas que creen que existe un porcentaje bastante alto de posibilidades de que ocurra una IA generalizada en los próximos 10 años. Pero desde mi punto de vista, para que eso suceda, vamos a necesitar una docena o dos de avances diferentes. Para que pueda monitorear cuándo cree que ocurrirán estos avances.}}
Obama agregó:<ref>{{Cite magazine|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|access-date=27 noviembre 2017|archive-url=https://web.archive.org/web/20171203142607/https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|archive-date=3 diciembre 2017|last=Dadich|first=Scott|magazine=WIRED}}</ref><ref>{{Cita noticia|apellidos=Kircher|nombre=Madison Malone|título=Obama on the Risks of AI: 'You Just Gotta Have Somebody Close to the Power Cord'|idioma=en|obra=Select All|url=https://nymag.com/selectall/2016/10/barack-obama-talks-artificial-intelligence-in-wired.html|fechaacceso=27 noviembre 2017|fechaarchivo=1 diciembre 2017|archive-url=https://web.archive.org/web/20171201040306/http://nymag.com/selectall/2016/10/barack-obama-talks-artificial-intelligence-in-wired.html}}</ref>
{{Cita|Y solo tienes que tener a alguien cerca del cable de alimentación. [Risas.] Justo cuando ves que va a suceder, tienes que sacar esa electricidad de la pared, hombre.}}
[[Hillary Clinton]] declaró en ''[[Lo que pasó|What Happened]]'' :
{{Cita|Los tecnólogos... advirtieron que la inteligencia artificial algún día podría representar una amenaza de seguridad existencial. Musk lo ha llamado "el mayor riesgo al que nos enfrentamos como civilización". Piénsalo: ¿alguna vez has visto una película en la que las máquinas comienzan a pensar por sí mismas y termina bien? Cada vez que salía a Silicon Valley durante la campaña, volvía a casa más alarmada por esto. Mi personal vivía con miedo de que empezara a hablar sobre "el surgimiento de los robots" en algún ayuntamiento de Iowa. Tal vez debería haberlo hecho. En cualquier caso, los formuladores de políticas deben mantenerse al día con la tecnología a medida que avanza, en lugar de ponerse siempre al día.<ref>{{Cite book |last=Clinton |first=Hillary |title=Qué pasó|date=2017 |isbn=978-1-5011-7556-5 |page=241}} a través de [http://lukemuehlhauser.com/hillary-clinton-on-ai-risk/] { {Webarchive|url=https://web.archive.org/web/20171201033319/http://lukemuehlhauser.com/hillary-clinton-on-ai-risk/ |date=1 de diciembre de 2017 }}</ref>}}
En una encuesta pública [[YouGov|de YouGov]] de 2016 para la [[Asociación Británica para el Avance de la Ciencia|Asociación Británica de Ciencias]], aproximadamente un tercio de los encuestados dijeron que la IA supondrá una amenaza para la supervivencia a largo plazo de la humanidad.<ref name="bsa poll">{{Cita noticia|fecha=11 marzo 2016|título=Over a third of people think AI poses a threat to humanity|obra=[[Business Insider]]|url=http://www.businessinsider.com/over-a-third-of-people-think-ai-poses-a-threat-to-humanity-2016-3?r=UK&IR=T|nombre=Sam|apellidos=Shead|fechaacceso=16 mayo 2016|fechaarchivo=4 junio 2016|archive-url=https://web.archive.org/web/20160604131111/http://www.businessinsider.com/over-a-third-of-people-think-ai-poses-a-threat-to-humanity-2016-3?r=UK&IR=T}}</ref> Jacob Brogan ''de Slate'' declaró que "la mayoría de los (lectores que completaron nuestra encuesta en línea) no estaban convencidos de que la IA en sí misma represente una amenaza directa".<ref name=":3">{{Cita noticia|apellidos=Brogan|nombre=Jacob|fecha=6 mayo 2016|título=What Slate Readers Think About Killer A.I.|idioma=en-US|obra=Slate|url=http://www.slate.com/blogs/future_tense/2016/05/06/futurography_readers_share_their_opinions_about_killer_artificial_intelligence.html|fechaacceso=15 mayo 2016|fechaarchivo=9 mayo 2016|archive-url=https://web.archive.org/web/20160509131718/http://www.slate.com/blogs/future_tense/2016/05/06/futurography_readers_share_their_opinions_about_killer_artificial_intelligence.html}}</ref>

En 2018, una encuesta [[Mono encuesta|de SurveyMonkey]] del público estadounidense realizada por ''[[USA Today]]'' encontró que el 68% pensaba que la verdadera amenaza actual sigue siendo la "inteligencia humana"; sin embargo, la encuesta también encontró que el 43% dijo que la IA superinteligente, si sucediera, resultaría en "más daño que bien", y el 38% dijo que haría "la misma cantidad de daño y bien".<ref>{{Cita noticia|url=https://www.usatoday.com/story/tech/news/2018/01/02/artificial-intelligence-end-world-overblown-fears/985813001/|título=Elon Musk says AI could doom human civilization. Zuckerberg disagrees. Who's right?|fecha=5 de enero de 2023|fechaacceso=8 de enero de 2018|fechaarchivo=8 de enero de 2018|archive-url=https://web.archive.org/web/20180108075432/https://www.usatoday.com/story/tech/news/2018/01/02/artificial-intelligence-end-world-overblown-fears/985813001/}}</ref>

Un punto de vista [[Utopismo tecnológico|tecno-utópico]] expresado en alguna ficción popular es que IAG puede tender hacia la construcción de paz.<ref>{{Cita publicación|título=Imachinations of Peace: Scientifictions of Peace in Iain M. Banks's The Player of Games|apellidos=LIPPENS|nombre=RONNIE|fecha=2002|publicación=Utopianstudies Utopian Studies|volumen=13|número=1|páginas=135–147|idioma=en|issn=1045-991X|oclc=5542757341}}</ref>

== Mitigación ==
Muchos académicos preocupados por el riesgo existencial de IAG creen que el mejor enfoque es realizar una investigación sustancial para resolver el difícil "problema de control": qué tipos de salvaguardas, algoritmos o arquitecturas pueden implementar los programadores para maximizar la probabilidad de que su IA de mejora recursiva continúe comportándose de manera amistosa después de que llegue a la superinteligencia?<ref name="superintelligence10">{{Cita libro|apellidos=Bostrom|nombre=Nick|título=Superintelligence: Paths, Dangers, Strategies|fecha=2014|isbn=978-0199678112|edición=First|enlaceautor=Nick Bostrom}}</ref><ref name="physica_scripta2">{{Cita publicación|título=Responses to catastrophic AGI risk: a survey|apellidos=Kaj Sotala|apellidos2=Roman Yampolskiy|enlaceautor2=Roman Yampolskiy|fecha=19 diciembre 2014|publicación=[[Physica Scripta]]|volumen=90|número=1}}</ref> Las medidas sociales pueden mitigar el riesgo existencial de IAG;<ref>{{Cita publicación|url=http://dx.doi.org/10.1080/0952813x.2016.1186228|título=A model of pathways to artificial superintelligence catastrophe for risk and decision analysis|apellidos=Barrett|nombre=Anthony M.|apellidos2=Baum|nombre2=Seth D.|fecha=2016-05-23|publicación=Journal of Experimental & Theoretical Artificial Intelligence|volumen=29|número=2|páginas=397–414|fechaacceso=7 de enero de 2022|issn=0952-813X|doi=10.1080/0952813x.2016.1186228|urlarchivo=https://web.archive.org/web/20230315233258/https://www.tandfonline.com/doi/full/10.1080/0952813X.2016.1186228?cookieSet=1|fechaarchivo=15 marzo 2023|arxiv=1607.07730}}</ref><ref>{{Cita publicación|título=Responses to catastrophic AGI risk: a survey|apellidos=Sotala|nombre=Kaj|apellidos2=Yampolskiy|nombre2=Roman V|fecha=2014-12-19|publicación=Physica Scripta|volumen=90|número=1|páginas=018001|bibcode=2015PhyS...90a8001S|issn=0031-8949|doi=10.1088/0031-8949/90/1/018001}}</ref> por ejemplo, una recomendación es para un "Tratado IAG benévolo" patrocinado por la ONU que garantizaría que solo se creen IAG altruistas.<ref>{{Cita publicación|url=https://www.itu.int/pub/S-JOURNAL-ICTS.V1I1-2018-9|título=Beyond MAD? The race for artificial general intelligence|apellidos=Ramamoorthy|nombre=Anand|apellidos2=Yampolskiy|nombre2=Roman|fecha=2018|publicación=ICT Discoveries|editorial=ITU|volumen=1|número=Special Issue 1|páginas=1–8|fechaacceso=7 de enero de 2022|urlarchivo=https://web.archive.org/web/20220107141537/https://www.itu.int/pub/S-JOURNAL-ICTS.V1I1-2018-9|fechaarchivo=7 de enero de 2022}}</ref> De manera similar, se ha sugerido un enfoque de control de armas, al igual que un tratado de paz global basado en la teoría de las relaciones internacionales del instrumentalismo conforme, con un ASI potencialmente como signatario.<ref>{{Cita publicación|título=Optimising peace through a Universal Global Peace Treaty to constrain the risk of war from a militarised artificial superintelligence|apellidos=Carayannis|nombre=Elias G.|apellidos2=Draper|nombre2=John|fecha=2022-01-11|publicación=AI & Society|páginas=1–14|idioma=en|issn=0951-5666|doi=10.1007/s00146-021-01382-y|pmc=8748529|pmid=35035113}}</ref>

Los investigadores de Google han propuesto analizar los problemas generales de "seguridad de la IA" para mitigar simultáneamente los riesgos a corto plazo de la IA limitada y los riesgos a largo plazo de la IAG.<ref>{{Cita noticia|apellidos=Vincent|nombre=James|fecha=22 junio 2016|título=Google's AI researchers say these are the five key problems for robot safety|idioma=en|obra=The Verge|url=https://www.theverge.com/circuitbreaker/2016/6/22/11999664/google-robots-ai-safety-five-problems|fechaacceso=5 abril 2020|fechaarchivo=24 diciembre 2019|archive-url=https://web.archive.org/web/20191224201240/https://www.theverge.com/circuitbreaker/2016/6/22/11999664/google-robots-ai-safety-five-problems}}</ref><ref>Amodei, Dario, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman, and Dan Mané. "Concrete problems in AI safety." arXiv preprint arXiv:1606.06565 (2016).</ref> Una estimación de 2020 sitúa el gasto global en riesgo existencial de IA entre $ 10 y $ 50 millones, en comparación con el gasto global en IA de alrededor de quizás $ 40 mil millones. Bostrom sugiere un principio general de "desarrollo tecnológico diferencial": que los financiadores deberían acelerar el desarrollo de tecnologías de protección en relación con el desarrollo de las peligrosas.<ref>{{Cita libro|apellidos=Ord|nombre=Toby|título=[[The Precipice: Existential Risk and the Future of Humanity]]|fecha=2020|editorial=Bloomsbury Publishing Plc|isbn=9781526600196|enlaceautor=Toby Ord}}</ref> Algunos patrocinadores, como [[Elon Musk]], proponen que [[Perfeccionamiento humano|la mejora cognitiva humana]] radical podría ser una tecnología de este tipo, por ejemplo, la conexión neuronal directa entre humanos y máquinas; sin embargo, otros argumentan que las tecnologías de mejora en sí mismas pueden representar un riesgo existencial.<ref>{{Cita noticia|apellidos=Johnson|nombre=Alex|fecha=2019|título=Elon Musk wants to hook your brain up directly to computers — starting next year|idioma=en|obra=NBC News|url=https://www.nbcnews.com/mach/tech/elon-musk-wants-hook-your-brain-directly-computers-starting-next-ncna1030631|fechaacceso=5 abril 2020|fechaarchivo=18 abril 2020|archive-url=https://web.archive.org/web/20200418094146/https://www.nbcnews.com/mach/tech/elon-musk-wants-hook-your-brain-directly-computers-starting-next-ncna1030631}}</ref><ref>{{Cita noticia|apellidos=Torres|nombre=Phil|fecha=18 septiembre 2018|título=Only Radically Enhancing Humanity Can Save Us All|idioma=en|obra=Slate Magazine|url=https://slate.com/technology/2018/09/genetic-engineering-to-stop-doomsday.html|fechaacceso=5 abril 2020|fechaarchivo=6 agosto 2020|archive-url=https://web.archive.org/web/20200806073520/https://slate.com/technology/2018/09/genetic-engineering-to-stop-doomsday.html}}</ref> Los investigadores, si no son tomados por sorpresa, podrían monitorear de cerca o intentar [[AI box|incluir]] una IA inicial con el riesgo de volverse demasiado poderosa, como un intento de medida provisional. Una IA superinteligente dominante, si estuviera alineada con los intereses humanos, podría tomar medidas para mitigar el riesgo de que la IA rival se haga cargo, aunque la creación de la IA dominante podría en sí misma plantear un riesgo existencial.<ref>{{Cita publicación|título=A model of pathways to artificial superintelligence catastrophe for risk and decision analysis|apellidos=Barrett|nombre=Anthony M.|apellidos2=Baum|nombre2=Seth D.|fecha=23 mayo 2016|publicación=Journal of Experimental & Theoretical Artificial Intelligence|volumen=29|número=2|páginas=397–414|doi=10.1080/0952813X.2016.1186228|arxiv=1607.07730}}</ref>

Instituciones como el [[Instituto de Investigación de la Inteligencia de las Máquinas|Instituto de Investigación de Inteligencia Artificial]], el [[Instituto Futuro de la Humanidad|Instituto del Futuro de la Humanidad]],<ref>{{Cite magazine|url=https://www.wired.co.uk/news/archive/2012-05/17/the-dangers-of-an-ai-smarter-than-us|title=AI uprising: humans will be outsourced, not obliterated|date=17 mayo 2012|access-date=12 diciembre 2015|archive-url=https://web.archive.org/web/20140407041151/http://www.wired.co.uk/news/archive/2012-05/17/the-dangers-of-an-ai-smarter-than-us|archive-date=7 abril 2014|last=Piesing|first=Mark|magazine=Wired}}</ref><ref>{{Cita noticia|apellidos=Coughlan|nombre=Sean|fecha=24 abril 2013|título=How are humans going to become extinct?|obra=BBC News|url=https://www.bbc.com/news/business-22002530|fechaacceso=29 marzo 2014|fechaarchivo=9 marzo 2014|archive-url=https://web.archive.org/web/20140309003706/http://www.bbc.com/news/business-22002530}}</ref> el [[Future of Life Institute|Instituto del Futuro de la Vida]], el [[Centro para el Estudio del Riesgo Existencial]] y el [[Centro de IA compatible con humanos|Centro de IA Compatible con Humanos]]<ref>{{Cita noticia|apellidos=Bridge|nombre=Mark|fecha=10 junio 2017|título=Making robots less confident could prevent them taking over|idioma=en|obra=The Times|url=https://www.thetimes.co.uk/article/making-robots-less-confident-could-prevent-them-taking-over-gnsblq7lx|fechaacceso=21 marzo 2018|fechaarchivo=21 marzo 2018|archive-url=https://web.archive.org/web/20180321133426/https://www.thetimes.co.uk/article/making-robots-less-confident-could-prevent-them-taking-over-gnsblq7lx}}</ref> están involucradas en mitigar el riesgo existencial de la inteligencia artificial avanzada, por ejemplo, mediante la investigación de [[inteligencia artificial amigable]].<ref name="givewell3">{{Cite report|title=Potential risks from advanced artificial intelligence|last=GiveWell|author-link=GiveWell|url=http://www.givewell.org/labs/causes/ai-risk|access-date=11 octubre 2015|date=2015|archive-date=12 octubre 2015|archive-url=https://web.archive.org/web/20151012084043/http://www.givewell.org/labs/causes/ai-risk}}</ref><ref name="atlantic-but-what3">{{Cite magazine|url=https://www.theatlantic.com/health/archive/2014/05/but-what-does-the-end-of-humanity-mean-for-me/361931/|title=But What Would the End of Humanity Mean for Me?|date=9 mayo 2014|access-date=12 diciembre 2015|archive-url=https://web.archive.org/web/20140604211145/http://www.theatlantic.com/health/archive/2014/05/but-what-does-the-end-of-humanity-mean-for-me/361931/|archive-date=4 junio 2014|magazine=The Atlantic}}</ref><ref name="hawking editorial3">{{Cita noticia|título=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence&nbsp;– but are we taking AI seriously enough?'|editorial=[[The Independent (UK)]]|url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html|fechaacceso=3 diciembre 2014|fechaarchivo=25 septiembre 2015|archive-url=https://web.archive.org/web/20150925153716/http://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html}}</ref>

=== Puntos de vista sobre la prohibición y la regulación ===

==== Prohibición ====
La mayoría de los académicos creen que incluso si IAG representa un riesgo existencial, intentar prohibir la investigación sobre inteligencia artificial sería imprudente y probablemente inútil.<ref>{{Cita publicación|url=http://scholarlycommons.law.northwestern.edu/cgi/viewcontent.cgi?article=1193&context=nulr_online|título=Accelerating AI|apellidos=McGinnis|nombre=John|enlaceautor=John McGinnis|fecha=Summer 2010|publicación=Northwestern University Law Review|volumen=104|número=3|páginas=1253–1270|fechaacceso=16 julio 2014|urlarchivo=https://web.archive.org/web/20160215073656/http://scholarlycommons.law.northwestern.edu/cgi/viewcontent.cgi?article=1193&context=nulr_online|fechaarchivo=15 de febrero de 2016|cita=Por todas estas razones, verificar un tratado de renuncia global, o incluso uno limitado al desarrollo de armas relacionadas con la IA, es imposible... (Por razones diferentes a las nuestras, el Instituto de Investigación de Inteligencia de Máquinas) considera que la renuncia (AGI) es inviable...}}</ref><ref>{{Cita publicación|título=Responses to catastrophic AGI risk: a survey|apellidos=Kaj Sotala|apellidos2=Roman Yampolskiy|enlaceautor2=Roman Yampolskiy|fecha=19 diciembre 2014|publicación=Physica Scripta|volumen=90|número=1|cita=En general, la mayoría de los escritores rechazan las propuestas de renuncia amplia... Las propuestas de renuncia sufren muchos de los mismos problemas que las propuestas de regulación, pero en mayor medida. No existe un precedente histórico de tecnología general de usos múltiples similar a AGI que se haya renunciado definitivamente, ni parece haber razones teóricas para creer que las propuestas de renuncia funcionarían en el futuro. Por lo tanto, no las consideramos una clase viable de propuestas.}}</ref><ref>{{Cita noticia|apellidos=Allenby|nombre=Brad|fecha=11 abril 2016|título=The Wrong Cognitive Measuring Stick|idioma=en-US|obra=Slate|url=http://www.slate.com/articles/technology/future_tense/2016/04/why_it_s_a_mistake_to_compare_a_i_with_human_intelligence.html|fechaacceso=15 mayo 2016|cita=It is fantasy to suggest that the accelerating development and deployment of technologies that taken together are considered to be A.I. will be stopped or limited, either by regulation or even by national legislation.|fechaarchivo=15 mayo 2016|archive-url=https://web.archive.org/web/20160515114003/http://www.slate.com/articles/technology/future_tense/2016/04/why_it_s_a_mistake_to_compare_a_i_with_human_intelligence.html}}</ref> Los escépticos argumentan que la regulación de la IA no tendría ningún valor, ya que no existe ningún riesgo existencial. Sin embargo, los académicos que creen en el riesgo existencial propusieron que es difícil depender de personas de la industria de la IA para regular o restringir la investigación de la IA porque contradice directamente sus intereses personales.<ref name=":7">{{Cita publicación|url=https://link.springer.com/chapter/10.1007/978-3-031-09153-7_18|título=AI Risk Skepticism|apellidos=Yampolskiy|nombre=Roman V.|fecha=2022|publicación=Philosophy and Theory of Artificial Intelligence 2021|editorial=Springer International Publishing|volumen=63|páginas=225–248|apellidos-editor=Müller|nombre-editor=Vincent C.|serie=Studies in Applied Philosophy, Epistemology and Rational Ethics|ubicación=Cham|idioma=en|doi=10.1007/978-3-031-09153-7_18|isbn=978-3-031-09153-7}}</ref> Los académicos también están de acuerdo con los escépticos en que prohibir la investigación sería imprudente, ya que la investigación podría trasladarse a países con regulaciones más laxas o llevarse a cabo de manera encubierta.<ref name=":7" /> El último tema es particularmente relevante, ya que la investigación de inteligencia artificial se puede realizar a pequeña escala sin una infraestructura o recursos sustanciales.<ref name="mcginnis">{{Cita publicación|url=http://scholarlycommons.law.northwestern.edu/cgi/viewcontent.cgi?article=1193&context=nulr_online|título=Accelerating AI|apellidos=McGinnis|nombre=John|enlaceautor=John McGinnis|fecha=Summer 2010|publicación=[[Northwestern University Law Review]]|volumen=104|número=3|páginas=1253–1270|fechaacceso=16 julio 2014|urlarchivo=https://web.archive.org/web/20160215073656/http://scholarlycommons.law.northwestern.edu/cgi/viewcontent.cgi?article=1193&context=nulr_online|fechaarchivo=15 de febrero de 2016}}</ref><ref>{{Cite magazine|url=https://www.newyorker.com/tech/elements/why-we-should-think-about-the-threat-of-artificial-intelligence|title=Why We Should Think About the Threat of Artificial Intelligence|date=4 octubre 2013|publicación=The New Yorker|access-date=7 de febrero de 2016|archive-url=https://web.archive.org/web/20160204081825/http://www.newyorker.com/tech/elements/why-we-should-think-about-the-threat-of-artificial-intelligence|archive-date=4 de febrero de 2016|quote=Por supuesto, uno podría tratar de prohibir por completo las computadoras superinteligentes. Pero "la ventaja competitiva (económica, militar, incluso artística) de cada avance en la automatización es tan convincente", [[Vernor Vinge]], el matemático y autor de ciencia ficción, escribió, "que aprobar leyes o tener costumbres, que prohibir tales cosas simplemente asegura que alguien más lo hará.'}}</ref> Dos dificultades hipotéticas adicionales con las prohibiciones (u otra regulación) son que los empresarios tecnológicos estadísticamente tienden hacia el escepticismo general sobre la regulación gubernamental, y que las empresas podrían tener un fuerte incentivo para (y podrían tener éxito) luchar contra la regulación y [[Politización de la ciencia|politizar]] el debate subyacente.<ref>{{Cita publicación|título=Superintelligence Skepticism as a Political Tool|apellidos=Baum|nombre=Seth|fecha=2018-08-22|publicación=Information|volumen=9|número=9|páginas=209|issn=2078-2489|doi=10.3390/info9090209}}</ref>

==== Regulación ====
En marzo de 2023, el [[Future of Life Institute]] (FLI), financiado por [[Elon Musk]], redactó una carta<ref>{{Cita web|url=https://futureoflife.org/open-letter/pause-giant-ai-experiments/|título=Pause Giant AI Experiments: An Open Letter|títulotrad=Hacer una pausa en los experimentos gigantes de IA: una carta abierta|fechaacceso=16-05-2023|sitioweb=Futureoflife|idioma=en}}</ref> en la que pedía a los principales desarrolladores de inteligencia artificial que acordaran una pausa verificable de seis meses de cualquier sistema "más poderoso que [[GPT-4]] " y que usaran ese tiempo para instituir un marco para garantizar la seguridad; o, en su defecto, que los gobiernos intervengan con una moratoria. La carta se refería a la posibilidad de "un cambio profundo en la historia de la vida en la Tierra", así como a los riesgos potenciales de la propaganda generada por la IA, la pérdida de empleos, la obsolescencia humana y la pérdida de control en toda la sociedad.<ref>{{Cita noticia|título=Elon Musk and other tech leaders call for pause in 'out of control' AI race|url=https://www.cnn.com/2023/03/29/tech/ai-letter-elon-musk-tech-leaders/index.html|fechaacceso=30 marzo 2023|obra=CNN|fecha=29 marzo 2023|idioma=en}}</ref><ref>{{Cita web|url=https://futureoflife.org/open-letter/pause-giant-ai-experiments/|título=Pause Giant AI Experiments: An Open Letter|fechaacceso=30 marzo 2023|sitioweb=Future of Life Institute}}</ref> Además de Musk, los signatarios destacados incluyeron [[Steve Wozniak|a Steve Wozniak]], [[Evan Sharp]],<ref>Evan Sharp (nacido en 1982) es un empresario de Internet multimillonario estadounidense. Es cofundador y director de diseño y creativo [de Pinterest, un motor de descubrimiento visual.</ref> [[Chris Larsen]] y [[Gary Marcus]]; los directores ejecutivos del laboratorio de IA, Connor Leahy y [[Emad Mostaque]]; el político [[Andrew Yang]]; y el pionero del aprendizaje profundo [[Yoshua Bengio]]. Marcus dijo que "la carta no es perfecta, pero el espíritu es correcto". Mostaque declaró: "No creo que una pausa de seis meses sea la mejor idea ni estoy de acuerdo con todo, pero hay algunas cosas interesantes en esa carta". En contraste, Bengio respaldó explícitamente la pausa de seis meses en una conferencia de prensa.<ref>{{Cita noticia|título=Musk and Wozniak among 1,100+ signing open letter calling for 6-month ban on creating powerful A.I.|url=https://fortune.com/2023/03/29/elon-musk-apple-steve-wozniak-over-1100-sign-open-letter-6-month-ban-creating-powerful-ai/|fechaacceso=30 marzo 2023|obra=Fortune|fecha=marzo 2023|idioma=en}}</ref><ref>{{Cita noticia|título=The Open Letter to Stop 'Dangerous' AI Race Is a Huge Mess|url=https://www.vice.com/en/article/qjvppm/the-open-letter-to-stop-dangerous-ai-race-is-a-huge-mess|fechaacceso=30 marzo 2023|obra=www.vice.com|fecha=marzo 2023|idioma=en}}</ref> Musk declaró que "los principales desarrolladores de IAG no prestarán atención a esta advertencia, pero al menos se dijo".<ref>{{Cita web|url=https://mobile.twitter.com/elonmusk/status/1641132241035329536|título=Elon Musk|fechaacceso=30 marzo 2023|sitioweb=Twitter|idioma=en}}</ref> Algunos signatarios, como Marcus, firmaron porque les preocupaban los riesgos mundanos, como la propaganda generada por la IA, en lugar de preocuparse por la IAG superinteligente.<ref>{{Cita noticia|título=Tech leaders urge a pause in the 'out-of-control' artificial intelligence race|url=https://www.npr.org/2023/03/29/1166896809/tech-leaders-urge-a-pause-in-the-out-of-control-artificial-intelligence-race|fechaacceso=30 marzo 2023|obra=NPR|fecha=2023}}</ref> [[Margaret Mitchell]], cuyo trabajo se cita en la carta, la criticó y dijo: “Al tratar muchas ideas cuestionables como un hecho, la carta afirma un conjunto de prioridades y una narrativa sobre la IA que beneficia a los partidarios de FLI. Ignorar los daños activos en este momento es un privilegio que algunos de nosotros no tenemos”.<ref name=":0">{{Cita noticia|apellidos=Kari|nombre=Paul|fecha=2023-04-01|título=Letter signed by Elon Musk demanding AI research pause sparks controversy|idioma=en-GB|obra=[[The Guardian]]|url=https://www.theguardian.com/technology/2023/mar/31/ai-research-pause-elon-musk-chatgpt|fechaacceso=2023-04-01|issn=}}</ref>

Musk pidió algún tipo de regulación del desarrollo de la IA ya en 2017. Según [[NPR]], el CEO de [[Tesla, Inc.|Tesla]] "claramente no está emocionado" por abogar por el escrutinio del gobierno que podría afectar su propia industria, pero cree que los riesgos de pasar completamente sin supervisión son demasiado altos: "Normalmente, la forma en que se establecen las regulaciones es cuando un Suceden un montón de cosas malas, hay una protesta pública y, después de muchos años, se establece una agencia reguladora para regular esa industria. Se tarda una eternidad. Eso, en el pasado, ha sido malo, pero no algo que represente un riesgo fundamental para la existencia de la civilización". Musk afirma que el primer paso sería que el gobierno obtuviera una "percepción" del estado real de la investigación actual, y advirtió que "una vez que haya conciencia, la gente tendrá mucho miedo.. [como] debería ser". En respuesta, los políticos expresaron su escepticismo sobre la sensatez de regular una tecnología que aún está en desarrollo.<ref>{{Cita noticia|apellidos=Domonoske|nombre=Camila|fecha=julio 17, 2017|título=Elon Musk Warns Governors: Artificial Intelligence Poses 'Existential Risk'|idioma=en|obra=NPR|url=https://www.npr.org/sections/thetwo-way/2017/07/17/537686649/elon-musk-warns-governors-artificial-intelligence-poses-existential-risk|fechaacceso=27 noviembre 2017|fechaarchivo=23 abril 2020|archive-url=https://web.archive.org/web/20200423135755/https://www.npr.org/sections/thetwo-way/2017/07/17/537686649/elon-musk-warns-governors-artificial-intelligence-poses-existential-risk}}</ref><ref>{{Cita noticia|apellidos=Gibbs|nombre=Samuel|fecha=17 julio 2017|título=Elon Musk: regulate AI to combat 'existential threat' before it's too late|obra=The Guardian|url=https://www.theguardian.com/technology/2017/jul/17/elon-musk-regulation-ai-combat-existential-threat-tesla-spacex-ceo|fechaacceso=27 noviembre 2017|fechaarchivo=6 junio 2020|archive-url=https://web.archive.org/web/20200606072024/https://www.theguardian.com/technology/2017/jul/17/elon-musk-regulation-ai-combat-existential-threat-tesla-spacex-ceo}}</ref><ref name="cnbc">{{Cita noticia|apellidos=Kharpal|nombre=Arjun|fecha=7 noviembre 2017|título=A.I. is in its 'infancy' and it's too early to regulate it, Intel CEO Brian Krzanich says|obra=CNBC|url=https://www.cnbc.com/2017/11/07/ai-infancy-and-too-early-to-regulate-intel-ceo-brian-krzanich-says.html|fechaacceso=27 noviembre 2017|fechaarchivo=22 marzo 2020|archive-url=https://web.archive.org/web/20200322115325/https://www.cnbc.com/2017/11/07/ai-infancy-and-too-early-to-regulate-intel-ceo-brian-krzanich-says.html}}</ref>

En respuesta tanto a Musk como a las propuestas de febrero de 2017 de los legisladores de la Unión Europea para regular la IA y la robótica, el CEO de Intel, [[Brian Krzanich]], argumentó que la inteligencia artificial está en su infancia y que es demasiado pronto para regular la tecnología.<ref name="cnbc2">{{Cita noticia|apellidos=Kharpal|nombre=Arjun|fecha=7 noviembre 2017|título=A.I. is in its 'infancy' and it's too early to regulate it, Intel CEO Brian Krzanich says|obra=CNBC|url=https://www.cnbc.com/2017/11/07/ai-infancy-and-too-early-to-regulate-intel-ceo-brian-krzanich-says.html|fechaacceso=27 noviembre 2017|fechaarchivo=22 marzo 2020|archive-url=https://web.archive.org/web/20200322115325/https://www.cnbc.com/2017/11/07/ai-infancy-and-too-early-to-regulate-intel-ceo-brian-krzanich-says.html}}</ref> En lugar de tratar de regular la tecnología en sí, algunos académicos sugieren normas comunes que incluyen requisitos para la prueba y la transparencia de los algoritmos, posiblemente en combinación con algún tipo de garantía.<ref>{{Cita publicación|título=Siri, Siri, in my hand: Who's the fairest in the land? On the interpretations, illustrations, and implications of artificial intelligence|apellidos=Kaplan|nombre=Andreas|apellidos2=Haenlein|nombre2=Michael|publicación=Business Horizons|volumen=62|páginas=15–25|doi=10.1016/j.bushor.2018.08.004|año=2019}}</ref> Desarrollando bien regulado  Los sistemas de armas están en línea con el espíritu de los ejércitos de algunos países.<ref>{{Cita publicación|título=How long until human-level AI? Results from an expert assessment|apellidos=Baum|nombre=Seth D.|apellidos2=Goertzel|nombre2=Ben|fecha=enero de 2011|publicación=Technological Forecasting and Social Change|volumen=78|número=1|páginas=185–195|issn=0040-1625|doi=10.1016/j.techfore.2010.09.006|apellidos3=Goertzel|nombre3=Ted G.}}</ref> El 31 de octubre de 2019, la Junta de Innovación de Defensa del Departamento de Defensa de los Estados Unidos (DoD) publicó el borrador de un informe que describe cinco principios para la IA armada y hace 12 recomendaciones para el uso ético de la inteligencia artificial por parte del DoD que busca administrar el control. problema en toda la IA armada del Departamento de Defensa.<ref>{{Cita libro|apellidos=United States. Defense Innovation Board.|título=AI principles : recommendations on the ethical use of artificial intelligence by the Department of Defense|oclc=1126650738}}</ref>

La regulación de la IAG probablemente se vería influenciada por la regulación de la IA armada o militarizada, es decir, la [[Carrera armamentista de inteligencia artificial|carrera armamentista de la IA]], que es un problema emergente.  En la actualidad,  aunque las Naciones Unidas están avanzando hacia la regulación de la IA, su capacidad institucional y legal para gestionar el riesgo existencial de IAG es mucho más limitada.<ref>{{Cita publicación|url=https://brill.com/view/journals/iclr/21/1/article-p5_3.xml|título=The United Nation's Capability to Manage Existential Risks with a Focus on Artificial Intelligence|apellidos=Nindler|nombre=Reinmar|fecha=2019-03-11|publicación=International Community Law Review|volumen=21|número=1|páginas=5–34|fechaacceso=30 agosto 2022|issn=1871-9740|doi=10.1163/18719732-12341388|urlarchivo=https://web.archive.org/web/20220830074017/https://brill.com/view/journals/iclr/21/1/article-p5_3.xml|fechaarchivo=30 agosto 2022}}</ref> Es probable que cualquier forma<ref>{{Cita web|url=https://www.congress.gov/bill/115th-congress/house-bill/5356|título=H.R.5356 - 115th Congress (2017-2018): National Security Commission Artificial Intelligence Act of 2018|fechaacceso=2020-03-13|autor=Stefanik|nombre=Elise M.|fecha=2018-05-22|sitioweb=www.congress.gov|urlarchivo=https://web.archive.org/web/20200323111045/https://www.congress.gov/bill/115th-congress/house-bill/5356|fechaarchivo=23 marzo 2020}}</ref> regulación internacional se vea influenciada por los desarrollos en la política interna<ref name="auto2">{{Cita publicación|título=Countering Superintelligence Misinformation|apellidos=Baum|nombre=Seth|fecha=2018-09-30|publicación=Information|volumen=9|número=10|páginas=244|issn=2078-2489|doi=10.3390/info9100244}}</ref> los países líderes hacia la IA [[Comisión Nacional de Seguridad en Inteligencia Artificial|militarizada]], que en los EE. Carrera armamentista de la IA. La regulación de la investigación sobre IAG se centra en el papel de las juntas de revisión, fomentando la investigación sobre IA segura, la posibilidad de un progreso tecnológico diferencial (priorizando las estrategias de reducción de riesgos sobre las estrategias de asunción de riesgos en el desarrollo de IA) o realizando vigilancia masiva internacional para realizar armas IAG. control.<ref name=":5">{{Cita publicación|título=Responses to catastrophic AGI risk: a survey|apellidos=Sotala|nombre=Kaj|apellidos2=Yampolskiy|nombre2=Roman V|fecha=2014-12-19|publicación=Physica Scripta|volumen=90|número=1|páginas=018001|bibcode=2015PhyS...90a8001S|issn=0031-8949|doi=10.1088/0031-8949/90/1/018001}}</ref> La regulación de IAG conscientes se enfoca en integrarlos con la sociedad humana existente y puede dividirse en consideraciones de su estatus legal y de sus derechos morales.<ref name=":5" /> El control de armas de AI probablemente requerirá la institucionalización de nuevas normas internacionales incorporadas en especificaciones técnicas efectivas combinadas con un monitoreo activo y diplomacia informal por parte de comunidades de expertos, junto con un proceso de verificación legal y política.<ref>{{Cita publicación|título=It's already too late to stop the AI arms race—We must manage it instead|apellidos=Geist|nombre=Edward Moore|fecha=2016-08-15|publicación=Bulletin of the Atomic Scientists|volumen=72|número=5|páginas=318–321|bibcode=2016BuAtS..72e.318G|issn=0096-3402|doi=10.1080/00963402.2016.1216672}}</ref><ref name=":12">{{Cita publicación|título=How viable is international arms control for military artificial intelligence? Three lessons from nuclear weapons of mass destruction|apellidos=Maas|nombre=Matthijs M.|fecha=2019-02-06|publicación=Contemporary Security Policy|volumen=40|número=3|páginas=285–311|issn=1352-3260|doi=10.1080/13523260.2019.1576464}}</ref>

== Véase también ==

* [[Inteligencia artificial]]
* [[LLM (modelo grande de lenguaje)|LLM]]
* [[ChatGPT]]
* [[Extinción humana]]
* [[Superinteligencia: caminos, peligros, estrategias|Superinteligencia]]
* [[Apelación a la probabilidad]]
* [[Altruismo efectivo# Futuro a largo plazo y riesgos catastróficos globales| Altruismo efectivo § Futuro a largo plazo y riesgos catastróficos globales]] 
* [[Riesgos de sufrimiento]]

== Notas ==
{{listaref|group=N}}

== Referencias ==
{{listaref|2}}

== Bibliografía ==

* {{Cita noticia|apellidos=Piper|nombre=Kelsey|año=2023|título=Por qué debemos pensar seriamente que la inteligencia artificial es una amenaza para la humanidad|sitio web=Altruismo Eficaz|url=https://altruismoeficaz.net/articulos/por-que-debemos-pensar-seriamente-que-la-inteligencia-artificial-es-una-amenaza-para-la-humanidad|archive-url=|fechaarchivo=30 octubre 2015|fechaacceso=31 de enero de 2025|fecha=16 de agosto de 2023}}
{{Control de autoridades}}
[[Categoría:Escenarios del fin del mundo]]
[[Categoría:Extinción humana]]
[[Categoría:Inteligencia artificial]]