¿Son reales los riesgos existenciales de la IA y qué deberíamos hacer al respecto?
Los riesgos existenciales asociados con sistemas de inteligencia artificial (IA) altamente capaces han sido motivo de preocupación durante mucho tiempo. Estos riesgos abarcan desde la pérdida de control hasta la extinción.
Algunos líderes de la industria consideran que la IA está cerca de igualar o superar la inteligencia humana, aunque evidencias recientes sugieren que las mejoras en la tecnología han disminuido. Si bien tal inteligencia podría alcanzar y representar riesgos extremos, hay problemas más urgentes y daños relacionados con la IA que deben ser abordados primero, especialmente dado que los investigadores enfrentan recursos limitados.
La carta abierta del Future of Life Institute
En marzo de 2023, el Future of Life Institute emitió una carta abierta pidiendo a los laboratorios de inteligencia artificial que “pausen los grandes experimentos de IA”. La preocupación subyacente era: “¿Deberíamos desarrollar mentes no humanas que eventualmente podrían superar, superar y reemplazarnos? ¿Deberíamos arriesgar la pérdida de control de nuestra civilización?” Dos meses después, cientos de personas prominentes firmaron una declaración sobre el riesgo de IA que afirmaba que “mitigar el riesgo de extinción de la IA debería ser una prioridad global junto a otros riesgos a escala social, como las pandemias y la guerra nuclear”.
Esta preocupación sobre el riesgo existencial (“x-risk”) de sistemas de IA altamente capaces no es nueva. En 2014, el famoso físico Stephen Hawking, junto con destacados investigadores de IA como Max Tegmark y Stuart Russell, advirtieron sobre sistemas de IA superinteligentes que podrían “superar los mercados financieros, superar a los investigadores humanos, manipular a los líderes humanos y desarrollar armas que ni siquiera podemos entender”.
La respuesta de los responsables políticos
Los responsables políticos tienden a desestimar estas preocupaciones como exageradas y especulativas. A pesar de un enfoque en la seguridad de la IA en conferencias internacionales en 2023 y 2024, los responsables políticos se alejaron de un enfoque en los riesgos existenciales en la Cumbre de Acción de IA de este año en París. Por el momento, y ante recursos cada vez más limitados, esto es, en cierto modo, positivo. Los responsables políticos e investigadores de IA deberían dedicar la mayor parte de su tiempo y energía a abordar riesgos de IA más urgentes.
Sin embargo, es crucial que los responsables políticos comprendan la naturaleza de la amenaza existencial y reconozcan que, a medida que avanzamos hacia sistemas de IA generalmente inteligentes—aquellos que igualan o superan la inteligencia humana—se volverá necesario desarrollar medidas para proteger la seguridad humana.
¿Cuán cerca estamos de desarrollar modelos de IA con inteligencia general?
Las empresas de IA no están muy cerca de desarrollar un sistema de IA con capacidades que puedan amenazarnos. Esta afirmación contradice un consenso en la industria de IA que sostiene que estamos a solo unos años de desarrollar sistemas poderosos y transformadores capaces de realizar una amplia variedad de tareas cognitivas. En un artículo reciente, se resume este consenso en la industria que la escalabilidad producirá inteligencia artificial general (AGI, por sus siglas en inglés) “para 2030, o antes”.
El argumento estándar predominante en los círculos de la industria se expuso claramente en un ensayo de junio de 2024 por el investigador de IA Leopold Aschenbrenner. Él sostiene que las capacidades de la IA aumentan con la escala—el tamaño de los datos de entrenamiento, el número de parámetros en el modelo y la cantidad de cómputo utilizado para entrenar los modelos. Además, llama la atención sobre la creciente eficiencia algorítmica.
Ejemplos de crecimiento exponencial
Parte de la razón de esta confianza es que las mejoras en la IA parecían exhibir un crecimiento exponencial en los últimos años. Este crecimiento sugiere que capacidades transformacionales podrían emerger inesperadamente y de manera repentina. Esto se alinea con algunos ejemplos bien conocidos de los sorprendentes efectos del crecimiento exponencial.
Sin embargo, estas analogías son engañosas. El crecimiento exponencial en un sistema finito no puede continuar para siempre, y no hay garantía de que siga ocurriendo en el desarrollo de la IA, incluso en un futuro cercano.
Desafíos en la investigación de IA
Hoy en día, los grandes modelos de lenguaje (LLMs) no muestran signos de las mejoras exponenciales características de 2022 y 2023. Por ejemplo, el proyecto GPT-5 de OpenAI se encontró con problemas de rendimiento y tuvo que ser degradado a GPT-4.5, representando solo una mejora “modesta” cuando fue lanzado. Muchos en la comunidad de investigación de IA creen que la AGI no surgirá del enfoque de aprendizaje automático actualmente dominante que se basa en predecir la siguiente palabra en una oración.
La transición hacia la superinteligencia
El filósofo Nick Bostrom define la superinteligencia como un sistema informático que “supera enormemente el rendimiento cognitivo de los humanos en prácticamente todos los dominios de interés”. Una vez que los desarrolladores de IA hayan mejorado las capacidades de los modelos de IA hasta el punto en que tenga sentido llamarlos generalmente inteligentes, ¿cómo hacen para que estos sistemas sean más capaces que los humanos?
El paso clave es instruir a los modelos generalmente inteligentes para que mejoren a sí mismos. Sin embargo, una vez que se les instruye para mejorar, los modelos de IA utilizarían sus capacidades de aprendizaje superiores para mejorarse a sí mismos mucho más rápido que los humanos. Pronto, superarían las capacidades humanas a través de un proceso de auto-mejora recursiva.
El problema de la alineación
Los modelos de IA, incluso los superinteligentes, no hacen nada a menos que se les indique que lo hagan. Son herramientas, no seres autónomos con sus propios objetivos y propósitos. Los desarrolladores deben incorporar propósitos y objetivos en ellos para que funcionen en absoluto, lo que puede hacer que parezca a los usuarios que han generado estos propósitos por sí mismos. Pero esta es una ilusión. Harán lo que los desarrolladores y desplegadores humanos les digan que hagan.
Esto plantea un importante problema no resuelto en la investigación de IA: el problema de alineación. Los desarrolladores deben tener mucho cuidado con las tareas que asignan a un sistema generalmente inteligente o superinteligente, incluso si carece de libre albedrío genuino y autonomía.
El camino a seguir
Hasta que se logre algún progreso en la solución de los problemas de desalineación, desarrollar sistemas generalmente inteligentes o superinteligentes parece ser extremadamente arriesgado. Sin embargo, la buena noticia es que el potencial para desarrollar inteligencia general y superinteligencia en modelos de IA parece remoto. Esto significa que todavía hay tiempo suficiente para abordar el problema de alinear la superinteligencia con valores que la hagan segura para los humanos.
Aunque la posibilidad de auto-mejora recursiva que conduce a la superinteligencia refleja la esperanza de muchas empresas de IA fronterizas, no hay evidencia de que los agentes de IA actuales estén cerca de realizar investigaciones de IA incluso al nivel de un técnico humano normal. Esto implica que aún hay un amplio margen para investigar y mitigar los riesgos más inmediatos de desalineación de modelos.
