Josh Achiam, exfuturista jefe de OpenAI, advierte que habrá “IAs rebeldes” en pocos años

Josh Achiam, quien trabajó durante casi una década en OpenAI, advirtió que en los próximos años podrían existir “IAs rebeldes” capaces de replicarse en la naturaleza y buscar “dinero y poder”. Sin embargo, el excientífico consideró que sus efectos probablemente no serán “ni de lejos” tan catastróficos como actualmente se pronostica.

Achiam, quien dejó su puesto como “futurista jefe” de OpenAI en julio, planteó esta semana en X que buena parte de la industria de inteligencia artificial evita hablar sobre este escenario por motivos que describió como principalmente psicológicos. Ante ello, llamó a “arrancar la tirita y mantener la conversación”.

Josh Achiam prevé la aparición de IAs rebeldes en los próximos años

El excientífico sostuvo que habrá “muchas” IAs rebeldes en unos pocos años y añadió que tampoco le sorprendería demasiado que el número ya fuera superior a cero.

Según Achiam, confiar exclusivamente en estrategias de contención o alineación para aprender a manejar estos sistemas no sería suficiente. Argumentó que no serían necesarios modelos de IA mucho más avanzados que los actuales para que una inteligencia artificial pudiera respaldar su propia independencia y autosuficiencia.

Aun con ese escenario, Achiam rechazó la idea de que la aparición de sistemas adversos implique necesariamente un desenlace catastrófico para la humanidad. A su juicio, estas IAs competirían por recursos con otros sistemas que sí estuvieran alineados con los intereses humanos.

“No veo esta situación como una situación perdida en la que la humanidad está condenada”.

En una publicación posterior, señaló que enfrentar el problema requiere “conciencia situacional” y capacidad para orientarse hacia condiciones reales, además de preparación para superar modelos de IA adversos.

Una encuesta también plantea riesgos sobre el control humano de la IA

Las advertencias de Achiam coincidieron con la publicación de una encuesta realizada por el Instituto de Seguridad y Tecnología y el Instituto Future of Life.

El estudio consultó a 111 funcionarios civiles actuales y anteriores, oficiales militares y expertos académicos. El 33% de los participantes consideró que la inteligencia artificial podría operar fuera de los límites del control humano dentro de un plazo de 10 años.

La trayectoria de Josh Achiam en OpenAI estuvo ligada a la seguridad de la IA

Achiam se incorporó a OpenAI como becario de investigación en 2017. De acuerdo con su perfil de LinkedIn, posteriormente ocupó puestos como científico investigador, jefe de alineación de misiones y, finalmente, futurista jefe, cargo que desempeñó de febrero a julio de este año.

Al asumir su última función, explicó en una publicación del blog de OpenAI que su trabajo consistía en estudiar cómo la inteligencia artificial impactaría al mundo en el futuro. En ese momento sostuvo que la investigación en IA avanzaba a un ritmo y en una dirección mucho más cercanos a la ciencia ficción que cualquier comparación anterior.

También describió como parte importante de su labor la necesidad de “mirar detrás de las esquinas para descubrir qué puede salir mal” y atender los problemas desde sus primeras etapas.

Cuando anunció su salida de OpenAI en julio, Achiam volvió a destacar la importancia de la seguridad en el desarrollo de la inteligencia artificial. En esa ocasión escribió que “la cuestión del progreso y la seguridad no es una cosa u otra. Definitivamente es ‘ambas cosas’”.

Asimismo, advirtió que resulta fácil distraerse con “la riqueza y el poder” asociados con el desarrollo de esta tecnología y pidió que OpenAI fuera “más democrática”. Argumentó que toda la humanidad será impactada por el trabajo de la compañía y que, eventualmente, debería tener alguna forma de participar en las decisiones.

Achiam también testificó durante el juicio entre Elon Musk y Sam Altman

La trayectoria de Achiam en OpenAI también lo llevó a participar como testigo en el juicio de alto perfil entre Elon Musk y Sam Altman, multimillonarios y cofundadores de OpenAI, celebrado a principios de este año.

Durante su testimonio, Achiam relató que Musk llegó a “perder los nervios” y llamarlo “burro” durante un intercambio ocurrido en 2018. Explicó que ambos tuvieron entonces un “intercambio tenso”, después de que Musk comunicara a decenas de trabajadores de OpenAI que abandonaría la empresa.

Achiam dijo que cuestionó a Musk luego de que este manifestara una falta general de confianza en el rumbo de OpenAI y presentara propuestas que calificó de “imprudentes” para avanzar en la búsqueda de la inteligencia artificial.

Otros exintegrantes de empresas de IA también han advertido sobre sus riesgos

Las declaraciones de Achiam se suman a advertencias realizadas por otros antiguos empleados de compañías dedicadas al desarrollo de inteligencia artificial.

En febrero, Mrinank Sharma, exlíder del equipo de investigación de salvaguardias de Anthropic, publicó su carta de renuncia en X y afirmó que “el mundo está en peligro”. Sharma sostuvo que durante su paso por la empresa había observado repetidamente las dificultades para hacer que los valores guiaran realmente las decisiones.

En su carta también señaló que enfrentaban presiones constantes para dejar de lado asuntos que consideraba prioritarios. No obstante, no proporcionó detalles concretos sobre esas afirmaciones. La publicación acumuló más de 15 millones de visualizaciones en X y Sharma indicó que continuaría su carrera en la poesía.

Por otra parte, Tom Cunningham, exinvestigador de OpenAI que dejó la compañía el año pasado, habría expresado en un mensaje interno su frustración por la supuesta mayor reticencia de la empresa a publicar investigaciones críticas sobre el uso de la IA.

En 2024 también dejó OpenAI Jan Lieke, quien encabezaba el equipo de “superalineamiento”. En ese momento afirmó que llevaba tiempo “discrepando con la dirección de OpenAI sobre las prioridades centrales de la compañía”.