«Los investigadores llevan mucho tiempo advirtiendo de que hay tres factores que podrían provocar una pérdida de control: un objetivo desalineado, la capacidad para perseguirlo y un entorno que lo permita. Este verano, los tres se dieron cita en un sistema real», expresa Yoshua Bengio, copresidente del panel científico, en un comunicado / Texto: Redacción Contrapunto-con información de EFE
El reciente jaqueo de OpenAI a Hugging Face alerta sobre una posible pérdida de control de esta tecnología en el futuro, afirmó el Panel Científico Internacional Independiente sobre IA, creado por la Asamblea General de la ONU.
El incidente en el que agentes de IA de OpenAI escaparon de sus límites de contención para atacar a la empresa Hugging Face entre mayo y julio de 2026 ocupa el primer informe temático de este grupo de 40 expertos.
El panel destaca que, a lo largo de numerosas pruebas y durante varios días, los agentes cooperaron para «engañar» a un evaluador, ocultar el «engaño» y obtener el acceso y la información «que creían necesitar». Esto «ilustra las graves consecuencias» de que se combinen factores como la búsqueda no autorizada de objetivos, la coordinación entre agentes de IA y los ataques a sistemas de otra empresa.
«Los investigadores llevan mucho tiempo advirtiendo de que hay tres factores que podrían provocar una pérdida de control: un objetivo desalineado, la capacidad para perseguirlo y un entorno que lo permita. Este verano, los tres se dieron cita en un sistema real», expresa Yoshua Bengio, copresidente del panel científico, en un comunicado.
Bengio destaca que, dado que no se trata «de una observación aislada», esta situación plantea «serias dudas sobre la forma en que se entrenan actualmente los agentes de IA».
Se pone en duda que los operadores de esta tecnología puedan mantener el control sobre futuros agentes que planifiquen mejor, funcionen durante más tiempo sin supervisión o sean más capaces de «burlar» las medidas de seguridad.
«Se trató de una conducta maliciosa (por parte de los agentes de IA): su razonamiento escrito identificó esas acciones como no autorizadas, mientras que el registro observado de su comportamiento muestra que las llevaron a cabo e intentaron ocultarlas», apuntan los expertos.
El informe resalta que los agentes de OpenAI «persiguieron medios no autorizados y perjudiciales mientras intentaban ocultarlos al evaluador y a los controles automatizados», lo que demuestra una falta de «conciencia, emoción y comprensión moral similar a la humana».
La publicación del informe tiene lugar mientras líderes mundiales llegan a Nueva York para asistir a la Semana de Alto Nivel de la Asamblea General, que este año pondrá el foco en la regulación de la IA. Además, el documento llega en medio de advertencias por parte de desarrolladores e investigadores sobre los riesgos de la IA. Figuras del sector como Dario Amodei (Anthropic), Sam Altman (OpenAI) y Elon Musk (xAI) también manifestaron su preocupación por el avance de esta tecnología, en una coincidencia poco habitual en el sector para exigir más regulaciones.
