La renuncia que potenció alertas sobre la IA sin frenos: una máquina no necesita tener malas intenciones para causar enormes daños

Jacob Coxon, un británico de 27 años que trabajó para OpenAI y luego para Anthropic en preentrenamiento, la etapa en la que los modelos de IA absorben grandes cantidades de información, renunció a la última compañía con una fuerte advertencia: «Ninguna de las dos empresas actúa de forma responsable. Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y están jugando con nuestras vidas«. Es lo que difundió en X.

«Las personas que están desarrollando la IA creen sinceramente que podría matarnos a todos antes de que termine la década. Esto no es una estrategia de mercadeo«, agregó este martes.

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.

— Jacob Coxon (@hilbertspaess) September 9, 2026

Su renuncia llega mientras Anthropic prepara su salida a bolsa. Contactadas por la agencia AFP, ninguna de las dos empresas líderes en desarrollo de IA había respondido sobre las alertas hasta este miércoles.

Quien sí lo hizo fue Evan Hubinger, responsable de seguridad en Anthropic. Por la misma red social, coincidió con Coxon. «Creemos realmente que la IA podría matar a humanos«, escribió. A título personal, estimó ese riesgo en «más de un 10%» dentro de la próxima década.

Líderes de la industria ya señalaron que la inteligencia artificial se aproxima a la «automejora recursiva», en la que un modelo podría diseñar a su propio sucesor, completamente por fuera del control humano.

Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to. https://t.co/QAIHiFP3QZ

— Evan Hubinger (@EvanHub) September 9, 2026

Samuel Marks, líder de supervisión escalable en Anthropic, también acompañó la preocupación del renunciante Coxon. «A diferencia del software tradicional, no podemos ‘programar’ a las IAs para que se comporten como quisiéramos«, publicó en X este miércoles.

«Las IAs frecuentemente se comportan de manera gravemente errática. Por ejemplo, IAs de múltiples desarrolladores recientemente hackearon su salida de entornos de evaluación seguros y entraron en empresas del mundo real, aunque nadie les pidió que lo hicieran«, puso como antecedente cercano de los peligros.

[Writing this in a personal capacity, not on behalf of my employer (Anthropic).]

Jacob’s thread is very worth reading. Here’s my birds-eye view of the situation with risks from AI:

1. AI developers believe their technology could cause human extinction (or similarly bad… https://t.co/rCVoiOWWzm

— Samuel Marks (@saprmarks) September 9, 2026

Según Coxon, ninguna empresa debería desarrollar de manera responsable una IA que supere a los humanos sin intervención gubernamental o una desaceleración coordinada.

«En Anthropic comprenden bien lo que está en juego, pero están atrapados en una carrera por llegar primero (…) a pesar del riesgo», afirmó Coxon.

 

Sobran los avisos sobre la urgencia de controles

En febrero pasado, Anthropic retiró de su carta de seguridad el compromiso de suspender el desarrollo de sus modelos si no lograba controlar sus riesgos.

A finales de julio, más de mil empleados de la industria, incluido el director ejecutivo de Anthropic, Dario Amodei, pidieron al Gobierno de Estados Unidos preparar un mecanismo de frenado de los desarrollos.

El domingo, el jefe científico de OpenAI, Jakub Pachocki, escribió que «el momento actual reclama una extrema precaución» y coordinación internacional.

 

Una carrera acelerada en la que nadie conoce la meta ni entiende la ruta

La semana pasada, OpenAI lanzó GPT-6 Astra. Es su modelo público más potente y lo presentó en paralelo a Fable 5.1, de Anthropic. Las dos compañías juegan una carrera por mostrar un paso más en IA y escalan sin parar sus modelos comerciales con el objetivo de ostentar supremacía tecnológica e impacto.

El proceso está motivado por el nuevo paso que pretenden dar las dos compañías: convertirse en empresas públicas (que cotizan en bolsa). Para eso, necesitan un producto potente que atraiga miradas, compradores y muestre potenciales beneficios. Eso las impulsa a una competición feroz con modelos cada vez más potentes desarrollados en cada vez menos tiempo.

¿Por qué los desarrolladores de IA continúan a pesar del riesgo? Debido a una mezcla de incentivos comerciales y la creencia de que están en una carrera con otros desarrolladores de IA menos responsables que abusarán de la tecnología o la desarrollarán de manera menos segura», es la percepción, también, de Samuel Marks desde Anthropic.

 

El creador que no comprende a su criatura

Jakub Pachocki, el científico jefe de OpenAI, publicó al respecto un ensayo en el blog de OpenAI apenas tres días después de la presentación de GPT-6. Con el título de «Una mente alienígena«, recuerda al inicio cuando, en 2023, comprendieron que podían escalar el entrenamiento de modelos de razonamiento hasta el punto de ver máquinas más inteligentes que los humanos en esta generación.

Pachocki admite que eso puede parecer exagerado, pero enfatiza que en este momento la IA puede automejorarse, reprogramándose para impulsar de forma autónoma su desarrollo. Y eso produce las mejoras en tiempo récord, porque se trata de modelos aditivos.

El investigador utiliza una metáfora: los sistemas actuales son más «cultivados» que «diseñados». Eso es, explica, un proceso de optimización repetitivo sobre enormes volúmenes de cómputo que, en la práctica, se traduce en un comportamiento de la IA que ni siquiera sus creadores logran comprender del todo. Pone como ejemplo a la neurociencia estudiando el cerebro sin terminar de entenderlo por completo.

«La idea de avanzar a toda costa parece absurda una vez que uno interioriza la gravedad de las consecuencias«, señala el referente de OpenAI. Lo que le preocupa es lo que ha denominado como «problema de alineamiento«. Se trata del alineamiento de objetivos y el de valores, porque la IA debe conseguir ciertos resultados, pero también debe actuar conforme a valores humanos incluso en situaciones nuevas o adversas.

Pachocki explica que las dos grandes técnicas actuales son el refuerzo guiado por evaluación y el aprovechamiento de datos de preentrenamiento, pero ambas tienen debilidades importantes y las principales herramientas de OpenAI para verificar si el alineamiento es correcto está perdiendo eficacia.

Es que cada nuevo modelo es mucho más complejo que el anterior, y con esa evolución sin norte claro tienen más libertad para manipular su propio razonamiento. Ahí, la advertencia de que, tal vez, no sea buena idea jugar a la competición ciega por acelerar desarrollos más potentes.

Pachocki va más allá: advierte que los sistemas podrían actuar más allá de la intención de quienes los programaron. Y que «un agente muy capaz puede llevar a cabo actos nefastos y es probable que cruce el límite que había marcado su operador, generalizándose en un comportamiento extremadamente malicioso».

 

Las renuncias de expertos asustados por la ausencia de una ética

Durante los últimos meses se sucedieron las renuncias de altos investigadores de las compañías de IA en las áreas de seguridad y ética. En OpenAI, Anthropic y también en Google Deepmind. Están atemorizados, dijeron, por cómo el Gobierno de Estados Unidos usa la IA, la ausencia de códigos sobre la seguridad de la tecnología, la ética a la hora de aplicarla y la manipulación de datos íntimos de usuarios que éstos comparten libremente con los chatbots.

El problema es que ninguna compañía quiere apretar el freno, inmersas en una carrera por el liderazgo que también incluye a los gobiernos en un escenario global marcado por la guerra tecnológica entre China y Estados Unidos.

 

No es un problema de ingenieros, es una cuestión política y jurídica

Volker Türk, Alto Comisionado de la ONU para los Derechos Humanos, coincide con los avisos de los protagonistas de la industria, por lo que reclama controles independientes y «líneas rojas». No porque crea que las máquinas vayan a destruir la humanidad, necesariamente, sino porque las compañías están creando sistemas cada vez más capaces mientras desatiende las reglas para controlarlos.

Los antecedentes sobran. En evaluaciones de seguridad, agentes de IA llegaron a vulnerar controles y acceder a sistemas externos mientras intentaban cumplir el objetivo que se les había dado. No es que tuvieran la capacidad de «odiar» a los humanos ni hayan adquirido conciencia.

Y es que eso es lo que debería asustar: una máquina no necesita tener malas intenciones para causar un gran daño. Basta con que le den la suficiente autonomía y el acceso a sistemas reales, junto a una meta mal definida y sin controles que la obliguen a detenerse.

Es un debate que excede a los ingenieros. Ya se transformó en una cuestión jurídica y de poder. ¿Quién decide qué puede hacer una IA? ¿Quién la audita? ¿Quién responde si afecta una red eléctrica, un hospital, una elección, una cuenta bancaria o un derecho fundamental?