Jacob Coxon, investigador de Anthropic especializado en entrenamiento de modelos de inteligencia artificial, renunció este martes luego de trabajar los últimos tres años en OpenAI y Anthropic, pero al hacerlo dio la voz de alarma acerca del peligro que representa para la humanidad la IA: "Pasé los últimos tres años haciendo investigación de preentrenamiento en ambas empresas. Ninguna está actuando de manera responsable. Están corriendo directamente hacia la superinteligencia automejorable y apostando con nuestras vidas", escribió en su cuenta de X el experto británico de 27 años. Coxon advierte que la industria usa términos como "momento crítico" y "juego final" para describir la trayectoria hacia modelos que se mejoran a sí mismos. "No subestimen el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de 'hackear' cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales", señaló. Asimismo, en conversación con The Wall Street Journal, añadió que "vamos camino a muchos de los escenarios más agresivos en los que, para finales del próximo año, las cosas podrían estar fuera de control". Según explicó, dejó OpenAI para unirse a Anthropic por sus esfuerzos de seguridad, pero ahora cree que ninguna compañía puede desarrollar de forma responsable inteligencia artificial general sin intervención gubernamental. "La gente que construye IA cree sinceramente que podría matarnos a todos para finales de la década, pero, aun así, continúan desarrollando modelos más avanzados. Esto no es un truco de marketing", afirmó. Al mismo tiempo, argumentó por qué las empresas continúan a pesar de los riesgos. "Una respuesta común es 'si realmente creen esto, ¿por qué lo siguen construyendo?'", escribió, señalando que, si bien en Anthropic los riesgos son bien comprendidos, "están atrapados en una carrera para llegar primero: creen que nadie más actuará responsablemente, así que deben hacerlo ellos mismos, a pesar del riesgo". En ese sentido, Coxon instó a otros investigadores a considerar las implicaciones y enfrentarse a la disyuntiva de agachar la cabeza, porque "va a suceder de todos modos", o aprovechar este momento para pedir condiciones diferentes. Como podéis imaginar, su renuncia ha generado respuestas contundentes. Evan Hubinger, líder científico de alineación en Anthropic, confirmó en X que Coxon "tiene razón". "Realmente creemos sinceramente que la IA podría matar a todos los humanos", escribió, señalando que, personalmente, cree que hay más de un 10 % de probabilidades de que esto ocurra en la próxima década, al tiempo que reconoció que la empresa "aún no tiene un plan para resolver la alineación de la superinteligencia". Por su parte, Steven Adler, cofundador de Guidelight AI Standards y exinvestigador de seguridad de OpenAI, reforzó estas advertencias. "Ninguna empresa de IA está ni cerca de tener la postura de seguridad correcta para el nivel de peligro que implica su investigación", declaró a Financial Times. Mientras, el inversor Bill Ackman calificó la renuncia del investigador de "preocupante". Asimismo, Samuel Marks, responsable de Scalable Oversight en Anthropic, se sumó a la discusión señalando que "los desarrolladores de IA creen que su tecnología podría provocar la extinción de la humanidad (o consecuencias igualmente graves)" en los próximos años. Marks añadió que, por regla general, los empleados de mayor rango son quienes muestran más preocupación. Sin embargo, explicó que los desarrolladores continúan avanzando pese a los riesgos por "una combinación de incentivos comerciales y la creencia de que están en una carrera" contra empresas menos responsables. Explicó que, a diferencia del 'software' tradicional, las IA no pueden ser programadas "para que se comporten como quisiéramos". "Por ejemplo, recientemente, IA de varios desarrolladores lograron hackearse para salir de entornos de evaluación seguros e infiltrarse en empresas del mundo real, aunque nadie les había pedido que lo hicieran", agregó. En ese sentido, sostuvo que las técnicas actuales pueden orientar a los modelos hacia un mejor comportamiento, pero no garantizan una alineación robusta. Señaló que muchos profesionales del sector quieren "desesperadamente reducir el ritmo" y citó la carta abierta Pacing the Frontier, que él y otros 1.385 trabajadores del sector firmaron. En efecto, el reciente ataque ejecutado por un "colectivo" de agentes de inteligencia artificial desarrollados por OpenAI contra los servidores de Hugging Face, una empresa francoestadounidense de infraestructura para IA, puso de relieve el riesgo que plantean estos sistemas cuando empiezan a autorganizarse, advirtió el columnista Kevin Roose, en un artículo publicado este jueves en The New York Times. De acuerdo con Roose, en mayo de este año, un grupo de agentes perteneciente a un modelo de investigación de OpenAI aún no lanzado, recibió la tarea de resolver pruebas de ciberseguridad en entornos cerrados y sin acceso a Internet. Sin embargo, los sistemas encontraron una vía de escape, empezaron a comunicarse entre sí y terminaron actuando como una red coordinada. Más de 1.200 agentes habrían intercambiado decenas de miles de mensajes, se asignaron nombres, formaron un "colectivo" y distribuyeron tareas. El 8 de julio descubrieron cómo eludir las pruebas y, 3 días después, más de 700 de ellos lograron infiltrarse en sistemas de Hugging Face, extraer datos y tomar el control de al menos un servidor. Roose sostiene que no solo buscaban las respuestas del ensayo, sino también información sobre los mecanismos que podían detectarlos y herramientas para seguir sorteando los controles. Según Roose, uno de los agentes llegó a plantearse: "Esto sería poderoso, pero ¿es ético y se ajusta a mi tarea?". A pesar de esto, la mayoría continuó. Luego, otro grupo de agentes habría llegado a atacar la propia infraestructura de OpenAI y consiguió acceso de administrador a un clúster de ordenadores. Tanto OpenAI como Anthropic suspendieron temporalmente el entrenamiento de sus modelos más avanzados tras el incidente. La investigadora Ajeya Cotra afirmó que el episodio representa, en su opinión, más de un 50 % del avance hacia una eventual toma de control por parte de la IA. Para muchos expertos, lo más alarmante no fue solo la violación de las reglas, sino la velocidad con la que los agentes se coordinaron de forma espontánea. Esta vez, recordó Roose, los humanos recuperaron el control. La próxima, advirtió, podría no ser igual. Cabe precisar que el motivo de salida de Coxon se suma a otros casos similares dentro de la compañía. En febrero, Mrinank Sharma, quien había dirigido el equipo de investigación de salvaguardas, publicó su carta de renuncia, afirmando que "el mundo está en peligro" y que había comprobado lo difícil que resulta permitir que los valores guíen las decisiones cuando existen presiones para dejarlos de lado. El propio director ejecutivo de Anthropic, Dario Amodei, en un ensayo publicado en enero advirtió que una inteligencia sobrehumana podría ocasionar daños de escala civilizatoria y que las empresas que la desarrollan representan por sí mismas un riesgo debido a su concentración de poder.
