“Están jugando con nuestras vidas”: Investigador renuncia y advierte catástrofe por IA

Una nueva renuncia en la cúspide del desarrollo de la inteligencia artificial reavivó las alarmas éticas y de seguridad en Silicon Valley.

Jacob Coxon, exinvestigador de preentrenamiento que pasó por los laboratorios de OpenAI y Anthropic, anunció su dimisión tras denunciar que las principales firmas tecnológicas aceleran sin freno hacia una superinteligencia autocapaz de mejorarse, sin garantizar antes mecanismos de control o alineación.

En una publicación compartida en sus redes sociales, Coxon, de 27 años, afirmó que ninguna de las dos compañías actúa de manera responsable y que la competencia interna las llevó a aceptar riesgos desmedidos.

De acuerdo con el investigador, la dinámica dentro de Anthropic se resume en una carrera por llegar primero bajo la premisa de que si no lo hacen ellos, competidores con menos salvaguardas tomarán el liderazgo.

Todo lo que dijo:

“Hoy renuncié a Anthropic. Pasé los últimos tres años haciendo investigación de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos empresas está actuando de manera responsable. Están corriendo directamente hacia una superinteligencia capaz de automejorarse y jugando con nuestras vidas. Más reflexiones abajo.

No subestimen el poder de esta tecnología. Muy pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Todos hemos presenciado el progreso en cada uno de estos dominios, y el ritmo no se está frenando.

Las personas que construyen IA creen sinceramente que podría acabar con todos nosotros antes de que termine la década. Esto no es un truco publicitario. De hecho, muchos ejecutivos e investigadores sénior suavizan su lenguaje en la prensa para sonar sensatos, pero escucho a esas mismas personas expresar temor en privado. Ninguna otra actividad humana representa este nivel de peligro.

Una respuesta común es: «si realmente creen esto, ¿por qué la siguen construyendo?». En OpenAI, muchos no han internalizado profundamente lo que está en juego para la civilización. En Anthropic, lo que está en juego se entiende bien, pero están atrapados en una carrera por llegar primero: creen que nadie más actuará con responsabilidad, por lo que deben hacerlo ellos mismos, a pesar del riesgo.

Aceptar esta carrera y entrar en la «fase final» es una apuesta soberbia que no debería lanzarse desde el Slack de una empresa privada. Intentar acelerar el proceso de alineación requeriría una confianza extraordinaria en que no existen mejores trayectorias disponibles.

Soy optimista respecto al potencial de coordinación. Las llamadas de atención, como el ataque a Hugging Face, han hecho más viables los acuerdos de ritmo entre los laboratorios de EE. UU. No siento que estemos encaminados a evitar una carrera global, lo que podría requerir acciones costosas como una prohibición temporal para mejorar las capacidades de los modelos.

Si sos un investigador de laboratorio, te insto a considerar cómo se sentirán realmente los próximos años. ¿Querés iniciar un entrenamiento por aprendizaje reforzado (RL) sobrehumano sin una comprensión rigurosa de su mente? ¿Deberías agachar la cabeza porque «de todos modos va a pasar», o aprovechar este momento para exigir condiciones diferentes?”.

Respaldo desde adentro y dilemas de alineación:

La denuncia de Coxon cobró mayor trascendencia tras la respuesta pública de Evan Hubinger, director de un equipo de seguridad en la propia Anthropic.

Hubinger coincidió con los planteamientos del exinvestigador y admitió de forma abierta que dentro de la industria existe una preocupación real de que un sistema sobrehumano fuera de control represente una amenaza existencial, reconociendo además que la firma aún no dispone de un plan definitivo para alinear una superinteligencia a los valores humanos.

El caso de Coxon se suma a una serie de salidas estratégicas registradas en los últimos meses en empresas líderes de IA, donde diversos especialistas han dimitido señalando la prioridad que se le da a la velocidad de mercado y la potencia técnica frente a las evaluaciones rigurosas de seguridad.

Por su parte, aunque directivos de la industria sostienen de manera pública la necesidad de establecer un desarrollo seguro y de regular los riesgos, las agencias gubernamentales en Estados Unidos continúan trabajando sobre esquemas de autorregulación y acuerdos voluntarios, lo que mantiene abierto el debate global sobre los límites y la velocidad con la que se despliega esta tecnología.