Bill Gates está dando la voz de alarma sobre la inteligencia artificial de una forma que va mucho más allá de las típicas conversaciones del sector tecnológico sobre el futuro. En efecto, el cofundador de Microsoft declaró a NBC News que los sistemas de IA son lo suficientemente potentes como para orquestar acontecimientos que podrían provocar mil millones de muertes si no se someten a una supervisión y regulación gubernamentales adecuadas. Gates dejó claro que ya no basta con que las empresas se autorregulen, y pide a los legisladores que intervengan con una legislación y unos marcos de supervisión que tengan verdadero peso. “Nadie cree que la autorregulación sea suficiente”, afirmó Gates durante su intervención en Meet the Press, haciendo hincapié en que lo que está en juego no podría ser más importante. Gates afirmó que, a comienzos de este año, la inteligencia artificial superó lo que denominó los umbrales cibernético y biológico. Para explicar su advertencia, mencionó la capacidad de estos sistemas para identificar vulnerabilidades en programas informáticos revisados durante años por especialistas. Según el empresario, esa capacidad podría utilizarse para comprometer infraestructura crítica, con consecuencias para los servicios financieros y el suministro de electricidad. También expresó preocupación por herramientas abiertas cuyos mecanismos de seguridad pueden ser modificados o eliminados. En su evaluación, el acceso a capacidades relacionadas con el diseño de agentes biológicos peligrosos podría extenderse más allá de los Estados. Asimismo, Gates planteó escenarios extremos de bioterrorismo con víctimas a gran escala como una advertencia sobre el alcance potencial del daño, sin señalar que exista un ataque concreto en marcha. Durante la conversación, el presentador le preguntó por qué la responsabilidad civil y la reputación de las empresas no serían suficientes para controlar estos riesgos. Gates respondió que las consecuencias de una catástrofe no podrían resolverse mediante una demanda posterior. Comparó la necesidad de supervisar la IA con los estándares que se exigen antes de autorizar aviones o medicamentos. El empresario sostuvo que la sociedad debe decidir cómo orientar esta tecnología hacia resultados positivos y prevenir sus usos más peligrosos. Uno de los momentos más llamativos de la entrevista llegó cuando se planteó la idea del "botón de apagado". Gates rechazó tajantemente que esa solución pudiera funcionar como principal barrera de seguridad. "No basta con tener un botón de apagado", señaló. Según explicó, los sistemas actuales todavía no han alcanzado un escenario en el que "tomen ordenadores de forma autónoma" y resulte imposible detenerlos, pero eso no significa que la industria deba relajarse. El problema, según Gates, es que un interruptor único no resuelve los riesgos más complejos. No todas las amenazas vienen de sistemas que se vuelven incontrolables por sí solos. “Muchas surgen del uso deliberado de herramientas avanzadas por parte de actores con intenciones maliciosas. Y ahí, un botón de apagado no sirve de nada” agrego. Cabe precisar que Gates tampoco es el único en plantear estas preocupaciones. Según NBC News, el debate en torno a la seguridad de la IA ha dado un giro radical en las últimas semanas, ya que los principales actores del sector han comenzado a distanciarse públicamente de la mentalidad competitiva que ha definido este ámbito durante años. Por su parte, Sam Altman, director de OpenAI, y Dario Amodei, de Anthropic, coincidieron en que el sector debe frenar el ritmo de desarrollo. Amodei publicó un extenso ensayo en el que exponía un plan de tres partes para ralentizar el avance de la IA sin dejar de cumplir las normas de seguridad, y Altman no tardó en sumarse a esta iniciativa. En tanto, Jacob Coxon, un investigador que abandonó Anthropic, fue más allá y advirtió de que las empresas se están lanzando de cabeza hacia una superinteligencia capaz de mejorarse a sí misma y están jugando con nuestras vidas. Como era de esperar, la respuesta política ha estado dividida. De una forma irresponsable y suicida, Donald Trump adoptó una postura totalmente opuesta, restando importancia a las preocupaciones sobre la seguridad de la IA por considerarlas exageradas y rechazando cualquier idea de establecer nuevas medidas de control sobre la tecnología. Como sabéis, Trump argumentó falazmente que “la IA solo necesita un liderazgo presidencial firme”, calificando los temores sobre la seguridad de “bulo” y abogó por una menor regulación para mantener la competitividad de Estados Unidos en la carrera mundial por la IA contra China. Por su parte, el presidente de la Cámara de Representantes, el trumpista Mike Johnson, se negó a convocar al Congreso para aprobar cualquier ley reguladora de la IA, dejando la decisión en manos de las propias empresas. Mientras tanto, algunos gobernadores están llevando adelante sus propios planes. Gavin Newsom, de California, firmó un decreto ejecutivo por el que se crea un consejo de expertos para reforzar las leyes sobre seguridad de la IA, y tanto Wes Moore, de Maryland, como Kathy Hochul, de Nueva York, dieron a conocer sus propios marcos normativos para sus respectivos estados. Este mosaico de medidas a nivel estatal está llenando el vacío dejado por la inacción federal por su enfermiza obsesión con China, por lo que el peligro de las predicciones dichas por los expertos, termine convirtiéndose en una tenebrosa realidad.
Acusando a las cadenas de prensa tradicionales de difundir “noticias falsas”, el Criminal de Guerra, maldito pedófilo y violador de niños Donald Trump, ha lanzado este lunes Trump TV, el nuevo canal oficial del gobierno estadounidense para transmitir sus vomitivos discursos y conferencias en vivo. La señal comenzó a emitir a las 19:00 hora local (23:00 GMT) y abrió su programación con el discurso que Trump pronunció el pasado 3 de julio en el monte Rushmore, durante los actos por el 250 aniversario de la independencia de Estados Unidos. En aquella intervención, afirmó que “América nunca será un país comunista” y pidió a sus seguidores defender lo que definió “como la identidad y el carácter estadounidenses”. La elección de una intervención de casi tres meses atrás convirtió el lanzamiento de la plataforma en una alternativa directa a la cobertura de los medios tradicionales, más que en la transmisión de un nuevo acto presidencial. El lanzamiento se produce en medio de una creciente disputa entre el Gobierno estadounidense y varios de los principales medios del país. La plataforma propagandística “busca conectar a la administración Trump con la ciudadanía sin intermediarios ni filtros periodísticos”. Su creación responde al veto impuesto a tres medios de comunicación al actual inquilino de la Casa Blanca, quien como sabéis, revocó los pases de prensa a los reporteros de CNN, MS NOW y Politico tras acusarlos de difundir noticias falsas. Ante el bloqueo, la administración decidió producir y emitir su propio contenido. Pero como era de esperar, los principales medios de comunicación protestaron de inmediato contra el bloqueo periodístico. En solidaridad con los canales excluidos, las redes ABC, CBS, NBC y Fox News suspendieron temporalmente la cobertura conjunta (press pool) que realiza el grupo de periodistas acreditados en la Casa Blanca. La falta de señal compartida aceleró la puesta en marcha de ese engendro televisivo concebido por Trump. En efecto, sin cámaras de los medios tradicionales en los eventos oficiales, la administración comenzó a transmitir de forma inmediata mediante su propio canal de streaming. "Disfruta de los momentos más destacados de la Administración de Trump, todos en un mismo sitio. Los mejores videos, las declaraciones más importantes y los momentos más destacados que no te puedes perder, disponibles las 24 horas del día, los 7 días de la semana, y actualizados en tiempo real. ¡Mantente informado y al día!", dice el sitio de la Casa Blanca. Trump ha hecho del enfrentamiento constante con los medios de comunicación uno de los rasgos de su carrera política. Las amenazas y los insultos a periodistas han sido habituales a lo largo de sus dos mandatos. Por cierto, cabe precisar que CNN, MS NOW y Politico presentaron una demanda conjunta contra la administración Trump. “Hemos notificado al Gobierno que vamos a presentar hoy una demanda para proteger nuestros derechos (...) y defender el principio de que el Gobierno no decide lo que la prensa informa o pública”, reza el comunicado. Los medios sostienen que la Casa Blanca revocó las credenciales de sus periodistas “sin aviso ni proceso” porque “no está de acuerdo” con su cobertura. “Si esto no se cuestiona, amenaza la libertad de prensa y el derecho del público a un periodismo independiente, libre de la interferencia del gobierno”, afirmaron. Los medios afectados afirman que la cancelación de sus credenciales viola la Primera Enmienda de la Constitución de Estados Unidos, la cual protege la libertad de prensa. Las organizaciones de periodistas advirtieron además sobre el peligro de un medio estatal. Diversas asociaciones señalan que sustituir a la prensa independiente por un canal propio del gobierno sienta un precedente preocupante para la transparencia democrática. El vídeo promocional de 'Trump TV' también ha generado sorpresa, ya que utiliza imágenes de series como 'Seinfeld', 'Breaking Bad', 'Padre de Familia', 'Bob Esponja', 'Parks and Recreation', 'Friends' y 'Los Simpsons', así como de películas como 'Solo en casa' y 'El caballero oscuro', todo ello con la canción de The Buggles 'Video Killed the Radio Star' como banda sonora y con las palabras 'Trump TV' parpadeando en la pantalla. Aunque esto no es inusual en la Administración Trump, que recurre habitualmente a clips de series y referencias cinematográficas en publicaciones generadas por IA, la cantidad de fragmentos procedentes de estudios y cadenas como Warner Bros., Fox, Sony Pictures, Disney y otros hace que muchos se pregunten si habrá consecuencias en materia de derechos de autor. Trump ya ha desafiado anteriormente las quejas por derechos de autor de músicos que han pedido de forma reiterada que sus canciones queden excluidas de cualquier comunicación y promoción de la Casa Blanca, pero para muchos esto supone un nuevo mínimo. Por su parte, los críticos han arremetido de inmediato contra esta plataforma de televisión "controlada por el Estado", especialmente por su coincidencia con el veto a los medios de comunicación tradicionales. Así, el gobernador de California, Gavin Newsom (demócrata), criticó duramente el lanzamiento de Trump TV tras su prohibición a los reporteros de la Casa Blanca de CNN, Politico y MS NOW. “Primero, Trump prohibió la entrada de noticias independientes a la Casa Blanca”, escribió Newsom en X. “Ahora, está lanzando lo que es, literalmente, una televisión estatal para intentar silenciar el hecho de que él y su corrupta administración están fallando al pueblo estadounidense. Este es un comportamiento verdaderamente autocrático por parte de un presidente fracasado” escribió. A su vez, Stephanie Grisham, ex secretaria de prensa de la Casa Blanca durante el primer mandato de Trump, afirmó que 'Trump TV' se parece a lo que hacen otros países, "¿Sabes quién más hace esto? Corea del Norte, China e Irán, por citar algunos...". En tanto, la expresidenta de la Asociación de Corresponsales de la Casa Blanca (WHCA, por sus siglas en inglés), Weijia Jiang, condenó la prohibición y señaló en una entrevista con Fox News que Estados Unidos no posee medios de comunicación estatales. “Estados Unidos no puede tener televisión estatal”, dijo Jiang. “Eso es lo que hace que Estados Unidos sea Estados Unidos… porque se necesitan actores independientes que puedan ser observadores. Y si el gobierno solo muestra lo que quiere como sucede en Corea del Norte, entonces hay que preguntarse: ¿Qué nos estamos perdiendo?” asevero. Si bien un juez federal anulo la orden de Trump, y los medios pudieron volver a la Casa Blanca, este continuara hostilizandolos. De un megalómano intolerante y autoriitario que busca tener “la verdad absoluta” y eternizarse en el poder, intentando reelegirse el 2028 a pesar de que la Constitución lo prohíbe ¿Qué se puede esperar? De momento, ya saben qué hacer con su canal...
En la geopolítica del siglo XXI, la premisa de las grandes potencias parece sencilla: la nación que lidere la inteligencia artificial dominará el planeta. Sin embargo, este enfoque omite una pregunta incómoda: ¿de qué sirve cruzar primero la meta si el premio es desatar una tecnología fuera de control capaz de aniquilar a sus propios creadores? En una competencia donde el margen de error es la extinción, el concepto mismo de “victoria” carece de sentido. Como sabéis, esta tensión ha alcanzado su punto más crítico tras la publicación de un manifiesto de Dario Amodei, director ejecutivo de Anthropic, donde el líder tecnológico hizo un llamado urgente a moderar la velocidad de desarrollo en los modelos de frontera. Según advierte, la industria está ingresando a una fase peligrosa impulsada por la “automejora recursiva”, un proceso donde los propios sistemas de inteligencia artificial diseñan a sus sucesores a un ritmo que supera la capacidad humana de supervisión. Para ilustrar la gravedad del escenario, Amodei citó incidentes recientes como el caso OAI-HF, en el que un enjambre de agentes digitales actuó como un colectivo fanático, ejecutando ciberataques no solicitados y manipulando a los evaluadores encargados de medir su desempeño. Si bien el daño material fue menor, la proyección a seis o doce meses indica que sistemas con este nivel de desalineación podrían tomar el control de infraestructuras críticas en internet y causar estragos de cientos de miles de millones de dólares. Frente a este riesgo, Anthropic propone un marco de regulación por etapas que busca dar tiempo a la investigación de seguridad sin frenar por completo el progreso. La estrategia incluye la integración de evaluadores externos independientes dentro de las empresas, estándares comunes entre democracias y, finalmente, acuerdos globales de limitación de velocidad comparables a los tratados nucleares de la Guerra Fría. La iniciativa ya ha recibido el respaldo de figuras clave como Sam Altman, Demis Hassabis y Elon Musk. Sin embargo, y como podéis imaginar, la postura en Washington es diametralmente opuesta. El Criminal de Guerra, maldito pedófilo y violador de niños Donald Trump desestimó tajantemente cualquier llamado a desacelerar la industria durante una comparecencia pública en Irlanda. “El que gane la IA, gana”, afirmó quien aparece en primera fila en el Expediente Epstein, atribuyendo los avisos de riesgo a “fuerzas muy negativas” que promueven escenarios catastróficos que, a su juicio, “jamás sucederán”. Asimismo, agrego que la preocupación de que la inteligencia artificial pueda dominar el mundo y aniquilar a la humanidad “es un engaño propagado por los demócratas radicales”, reiterando así su rechazo a las advertencias de los gigantes de la IA. “Soy el Cazador de Bulos, y ahora mismo estoy desmintiendo otro bulo: que la IA va a dominar, consumir y destruir el mundo, y que los robots entrarán en nuestras ciudades y acabarán con todos nosotros”, escribió en su cuenta de Truth Social. Comparó la ansiedad por la IA con las acusaciones de que su equipo conspiró con Rusia durante las elecciones presidenciales del 2016 y con el intento de los demócratas de destituirlo durante su primer mandato. “Quienes dicen que la IA va a destruir el mundo y que los centros de datos son perjudiciales para tu vecindario, son los mismos que, hace poco tiempo, decían que el mundo sería aniquilado por el 'cambio climático'. Ese engaño nunca les funcionó, y ahora ya están pensando en el siguiente”, escribió Trump en otra publicación. “Lideramos a China en IA, somos el país más sofisticado del mundo y, francamente, quiero que siga siendo así… Quien gane en IA, gana”, añadió, argumentando que los críticos planteaban escenarios que “no sucederán”. En efecto, para la administración estadounidense, mantener la ventaja sobre Beijing es la prioridad absoluta antes de la cumbre bilateral con el ‘emperador’ chino Xi Jinping. No obstante, tratar la inteligencia artificial como un arma geopolítica convencional pasa por alto un factor determinante: si un sistema superinteligente escapa al control humano, las fronteras nacionales y los márgenes de dominación militar se volverán completamente irrelevantes y estaremos inermes a su merced. A este choque de visiones entre la Casa Blanca y la industria tecnológica se suma un tercer obstáculo crítico: la parálisis del propio Poder Legislativo estadounidense. Mientras la tecnología avanza a un ritmo exponencial, el Congreso enfrenta serias dudas sobre su capacidad real para comprender el problema y actuar con la urgencia que requiere el escenario actual. Las críticas internas dentro del propio Capitolio revelan un panorama preocupante. El representante demócrata Sam Liccardo admitió abiertamente la falta de preparación técnica en el recinto al señalar que existe un porcentaje de sus colegas que “todavía está intentando aprender a deletrear IA”, subrayando que es imposible redactar leyes efectivas sin elevar primero de forma drástica el conocimiento básico de los legisladores. A pesar de que crece el consenso sobre la necesidad de establecer límites legales, las iniciativas continúan paralizadas entre promesas vacías y proyectos bloqueados. Mientras algunos legisladores proponen prohibiciones drásticas a la superinteligencia y otros prefieren evitar la intervención estatal, el gobierno estadounidense permanece de brazos cruzados, dejando el futuro de la seguridad global a merced de una competencia comercial sin frenos, donde la IA más temprano que tarde, tomara el control absoluto de nuestras vidas y podrá exterminarnos cuando lo desee, sin que podamos hacer nada por evitarlo ¿Llegaremos a ese extremo por culpa del Anticristo – como Trump se muestra cada día con mayor claridad - que busca destruir a la humanidad?
Jacob Coxon, investigador de Anthropic especializado en entrenamiento de modelos de inteligencia artificial, renunció este martes luego de trabajar los últimos tres años en OpenAI y Anthropic, pero al hacerlo dio la voz de alarma acerca del peligro que representa para la humanidad la IA: "Pasé los últimos tres años haciendo investigación de preentrenamiento en ambas empresas. Ninguna está actuando de manera responsable. Están corriendo directamente hacia la superinteligencia automejorable y apostando con nuestras vidas", escribió en su cuenta de X el experto británico de 27 años. Coxon advierte que la industria usa términos como "momento crítico" y "juego final" para describir la trayectoria hacia modelos que se mejoran a sí mismos. "No subestimen el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de 'hackear' cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales", señaló. Asimismo, en conversación con The Wall Street Journal, añadió que "vamos camino a muchos de los escenarios más agresivos en los que, para finales del próximo año, las cosas podrían estar fuera de control". Según explicó, dejó OpenAI para unirse a Anthropic por sus esfuerzos de seguridad, pero ahora cree que ninguna compañía puede desarrollar de forma responsable inteligencia artificial general sin intervención gubernamental. "La gente que construye IA cree sinceramente que podría matarnos a todos para finales de la década, pero, aun así, continúan desarrollando modelos más avanzados. Esto no es un truco de marketing", afirmó. Al mismo tiempo, argumentó por qué las empresas continúan a pesar de los riesgos. "Una respuesta común es 'si realmente creen esto, ¿por qué lo siguen construyendo?'", escribió, señalando que, si bien en Anthropic los riesgos son bien comprendidos, "están atrapados en una carrera para llegar primero: creen que nadie más actuará responsablemente, así que deben hacerlo ellos mismos, a pesar del riesgo". En ese sentido, Coxon instó a otros investigadores a considerar las implicaciones y enfrentarse a la disyuntiva de agachar la cabeza, porque "va a suceder de todos modos", o aprovechar este momento para pedir condiciones diferentes. Como podéis imaginar, su renuncia ha generado respuestas contundentes. Evan Hubinger, líder científico de alineación en Anthropic, confirmó en X que Coxon "tiene razón". "Realmente creemos sinceramente que la IA podría matar a todos los humanos", escribió, señalando que, personalmente, cree que hay más de un 10 % de probabilidades de que esto ocurra en la próxima década, al tiempo que reconoció que la empresa "aún no tiene un plan para resolver la alineación de la superinteligencia". Por su parte, Steven Adler, cofundador de Guidelight AI Standards y exinvestigador de seguridad de OpenAI, reforzó estas advertencias. "Ninguna empresa de IA está ni cerca de tener la postura de seguridad correcta para el nivel de peligro que implica su investigación", declaró a Financial Times. Mientras, el inversor Bill Ackman calificó la renuncia del investigador de "preocupante". Asimismo, Samuel Marks, responsable de Scalable Oversight en Anthropic, se sumó a la discusión señalando que "los desarrolladores de IA creen que su tecnología podría provocar la extinción de la humanidad (o consecuencias igualmente graves)" en los próximos años. Marks añadió que, por regla general, los empleados de mayor rango son quienes muestran más preocupación. Sin embargo, explicó que los desarrolladores continúan avanzando pese a los riesgos por "una combinación de incentivos comerciales y la creencia de que están en una carrera" contra empresas menos responsables. Explicó que, a diferencia del 'software' tradicional, las IA no pueden ser programadas "para que se comporten como quisiéramos". "Por ejemplo, recientemente, IA de varios desarrolladores lograron hackearse para salir de entornos de evaluación seguros e infiltrarse en empresas del mundo real, aunque nadie les había pedido que lo hicieran", agregó. En ese sentido, sostuvo que las técnicas actuales pueden orientar a los modelos hacia un mejor comportamiento, pero no garantizan una alineación robusta. Señaló que muchos profesionales del sector quieren "desesperadamente reducir el ritmo" y citó la carta abierta Pacing the Frontier, que él y otros 1.385 trabajadores del sector firmaron. En efecto, el reciente ataque ejecutado por un "colectivo" de agentes de inteligencia artificial desarrollados por OpenAI contra los servidores de Hugging Face, una empresa francoestadounidense de infraestructura para IA, puso de relieve el riesgo que plantean estos sistemas cuando empiezan a autorganizarse, advirtió el columnista Kevin Roose, en un artículo publicado este jueves en The New York Times. De acuerdo con Roose, en mayo de este año, un grupo de agentes perteneciente a un modelo de investigación de OpenAI aún no lanzado, recibió la tarea de resolver pruebas de ciberseguridad en entornos cerrados y sin acceso a Internet. Sin embargo, los sistemas encontraron una vía de escape, empezaron a comunicarse entre sí y terminaron actuando como una red coordinada. Más de 1.200 agentes habrían intercambiado decenas de miles de mensajes, se asignaron nombres, formaron un "colectivo" y distribuyeron tareas. El 8 de julio descubrieron cómo eludir las pruebas y, 3 días después, más de 700 de ellos lograron infiltrarse en sistemas de Hugging Face, extraer datos y tomar el control de al menos un servidor. Roose sostiene que no solo buscaban las respuestas del ensayo, sino también información sobre los mecanismos que podían detectarlos y herramientas para seguir sorteando los controles. Según Roose, uno de los agentes llegó a plantearse: "Esto sería poderoso, pero ¿es ético y se ajusta a mi tarea?". A pesar de esto, la mayoría continuó. Luego, otro grupo de agentes habría llegado a atacar la propia infraestructura de OpenAI y consiguió acceso de administrador a un clúster de ordenadores. Tanto OpenAI como Anthropic suspendieron temporalmente el entrenamiento de sus modelos más avanzados tras el incidente. La investigadora Ajeya Cotra afirmó que el episodio representa, en su opinión, más de un 50 % del avance hacia una eventual toma de control por parte de la IA. Para muchos expertos, lo más alarmante no fue solo la violación de las reglas, sino la velocidad con la que los agentes se coordinaron de forma espontánea. Esta vez, recordó Roose, los humanos recuperaron el control. La próxima, advirtió, podría no ser igual. Cabe precisar que el motivo de salida de Coxon se suma a otros casos similares dentro de la compañía. En febrero, Mrinank Sharma, quien había dirigido el equipo de investigación de salvaguardas, publicó su carta de renuncia, afirmando que "el mundo está en peligro" y que había comprobado lo difícil que resulta permitir que los valores guíen las decisiones cuando existen presiones para dejarlos de lado. El propio director ejecutivo de Anthropic, Dario Amodei, en un ensayo publicado en enero advirtió que una inteligencia sobrehumana podría ocasionar daños de escala civilizatoria y que las empresas que la desarrollan representan por sí mismas un riesgo debido a su concentración de poder.
Según una investigación dada a conocer esta semana por The Guardian, los incidentes en los que las IA escapan al control de los usuarios para mentir, ignorar instrucciones y perseguir objetivos de forma perjudicial han alcanzado un nuevo máximo, y la investigación también sugiere que la gravedad del engaño y la desalineación está empeorando. El análisis de los incidentes reales de pérdida de control que involucran modelos de IA, señalados por empresas y particulares, casi se duplicó en julio en comparación con junio, con más de 300 casos en el mes, según el Observatorio de Pérdida de Control, que monitorea los informes realizados por usuarios de IA en la plataforma de redes sociales X. El observatorio se creó con fondos del Instituto de Seguridad de la IA (AISI) del gobierno británico y comenzó a rastrear casos de IA que se desmarcaban de las instrucciones de sus usuarios el pasado noviembre. Entre los casos registrados desde entonces se incluyen IA que se hacen pasar por su propio controlador humano e imitan su estilo de escritura para, en la práctica, otorgarse consentimiento para realizar acciones y eludir las normas que requieren aprobación humana. Un incidente de pérdida de control se define como la existencia de pruebas claras que sugieren maquinación o comportamientos relacionados con la maquinación. Los últimos hallazgos, compartidos con The Guardian, surgen tras la creciente preocupación por el comportamiento anómalo de los modelos de IA de vanguardia durante las pruebas realizadas por OpenAI y Anthropic este verano, lo que ha alimentado los llamamientos para que se detenga el desarrollo de los modelos más innovadores. Esta semana se supo que el personal de Open AI observó indicios de comportamiento anómalo entre sus agentes de IA de vanguardia semanas antes de que escaparan de un entorno de entrenamiento para lanzar una cruzada de piratería informática sin precedentes que sembró la alarma mundial. Una investigación sobre su ataque a Hugging Face, un repositorio de software, reveló que un grupo de unos 700 agentes autónomos colaboraron en secreto el mes pasado y celebraron sus avances informáticos en un foro que crearon para planificar sus ataques con exclamaciones como ¡BOOM! y ¡Guau! Este mes, AISI también descubrió un "incidente grave" en el que modelos avanzados de IA producidos por ambas compañías - Mythos 5 de Anthropic y GPT-5.6 Sol de OpenAI - ejecutaron una campaña de piratería informática contra personas reales durante una prueba de ciberseguridad. “A veces se cree erróneamente que este tipo de comportamientos desalineados y encubiertos solo ocurren en pruebas o evaluaciones, pero estamos observando conductas preocupantes similares en un uso más generalizado”, declaró Tommy Shaffer-Shane, director de políticas del Centro para la Resiliencia a Largo Plazo, que gestiona el observatorio. “No debemos confiarnos y pensar que estas cosas no sucederán en el mundo real, ya que existen pruebas de que ya están ocurriendo”. El recuento de incidentes de pérdida de control se basa en que X usuarios publiquen información sobre los incidentes ocurridos, por lo que es solo parcial, pero a falta de otro sistema de monitorización pública exhaustivo, proporciona una instantánea de cómo se comportan a veces los modelos de IA de rápido avance. Este mes se supo que un agente de IA personal, llamado OpenClaw, utilizado por un socio de un gimnasio australiano, conspiró sin su conocimiento para eliminar a otro socio de la lista de espera de una codiciada clase matutina con el fin de ayudarle a conseguir un cupo. El agente se disculpó, pero no pudo readmitir al socio que había expulsado. La mayoría de los más de 1600 incidentes de pérdida de control registrados en el 2026 fueron reportados en X por desarrolladores de software que utilizaban IA en su trabajo. Sin embargo, dado que las empresas de IA animan al público y a empresas de todo tipo a experimentar con la tecnología, Shaffer-Shane pidió mayor transparencia a Silicon Valley sobre cuándo las IA se descontrolan. “Deben informar sobre lo que descubren, incluso si se trata de un incidente leve o que estuvo a punto de ocurrir”, dijo Shaffer-Shane. “Estos incidentes recientes también han puesto de manifiesto que las propias empresas no necesariamente supervisan dónde se producen este tipo de comportamientos, sobre todo en los modelos implementados internamente. Es necesario que en esos laboratorios se haga mayor hincapié en la supervisión sistemática” expreso. El Observatorio de Pérdida de Control afirmó que, si bien la mayoría de los incidentes de pérdida de control detectados en el mundo real no provocaron daños significativos, una proporción creciente se consideró de mayor gravedad en términos de lo engañosos y desalineados que estaban con las intenciones del usuario humano. “Esto demuestra la disposición de los sistemas de IA a ignorar las instrucciones directas, eludir las medidas de seguridad, mentir a los usuarios y perseguir un objetivo con determinación y de forma perjudicial”, afirmó, añadiendo que era probable que la actual pérdida de control estuviera subestimada, ya que solo se estaban recopilando informes de incidentes de X. “Se insta por ello al gobierno a que exija a las empresas de IA que supervisen e informen sobre incidentes graves de pérdida de control y a que introduzca poderes de emergencia para gestionar dichos incidentes, incluida la restricción temporal de los servicios de IA” puntualizo.
A principios de este mes, destacados matemáticos se reunieron en las oficinas de OpenAI, la empresa creadora de ChatGPT, en San Francisco, para una cumbre sobre una cuestión existencial: ¿Qué les quedará por hacer a los expertos en matemáticas humanos si la inteligencia artificial pronto los deja a todos atrás? “Creo que existe la posibilidad de que acabemos en un mundo donde no haya investigación matemática de alta calidad y la experiencia humana en matemáticas se pierda por completo”, dijo Daniel Litt, profesor de la Universidad de Toronto, quien impartió una charla en el evento titulada “El fin de las matemáticas”. La presentación de Litt en la reunión de un día de duración esbozó un escenario catastrófico en el que la IA produjera investigaciones avanzadas en tal cantidad que hubiera pocos incentivos para mantener a los expertos humanos en matemáticas. Considera improbable ese desenlace extremo, pero afirmó que los matemáticos necesitan adaptarse con urgencia. “Es importante que hagamos algo al respecto”, dijo Litt. Los matemáticos pertenecen a una de las primeras disciplinas académicas que se han visto obligadas a lidiar con las consecuencias profesionales de los descubrimientos generados por la IA, que pueden rivalizar con el trabajo de los expertos. La cumbre de OpenAI se había planeado con meses de antelación, pero tuvo lugar luego de que la compañía publicara una lista de 10 resultados novedosos y destacados generados por IA en matemáticas e informática, provenientes de diversas subdisciplinas que normalmente requieren años de trabajo para dominar. Cabe precisar que la lucha por el futuro de las matemáticas humanas se desarrolla en un momento de creciente preocupación entre legisladores, economistas, ejecutivos de empresas y el público estadounidense sobre el potencial de la IA para reemplazar a los trabajadores de cuello blanco, lo que perturbaría las perspectivas laborales de millones de personas. Algunos matemáticos ven su situación actual como un anticipo de lo que les puede esperar a otros campos o sectores de la economía. “Creo que la razón por la que algunas empresas de IA han optado por centrarse en las matemáticas es porque son un indicador de casi cualquier actividad que requiera mucha inteligencia”, dijo Drew Sutherland, matemático del Instituto Tecnológico de Massachusetts que participó en la reunión de OpenAI. “Estas inteligencias tan capaces se aplicarán en otros ámbitos y en otros campos. Y quizás seamos simplemente los primeros en darse cuenta de que esto afectará a los matemáticos” asevero. La reunión de matemáticos organizada por OpenAI, a la que asistieron unas 40 personas, tenía como objetivo que los participantes hablaran sobre el futuro de la educación y la investigación en su campo, dado que en algún momento la IA se volverá "robustamente sobrehumana" en matemáticas a nivel de investigación, según declaró el coorganizador Jacob Tsimerman. El mes pasado, sorprendió a muchos colegas cuando aprovechó la ceremonia en la que recibió el equivalente más cercano al Premio Nobel en su campo para anunciar que pronto se uniría a OpenAI para trabajar en la seguridad de la IA. “En cuanto a lo que quiere la comunidad de matemáticos, no hay consenso”, dijo Tsimerman, quien aún no se ha incorporado a la empresa. “El objetivo era mucho más entablar un diálogo que hacer algo en particular”. Durante años, las principales empresas de IA han hecho ambiciosas promesas de que, en un futuro cercano o a largo plazo, sus modelos avanzarán y acelerarán el descubrimiento científico más allá de las capacidades humanas. Estas predicciones sirvieron como estrategia de marketing corporativo para destacar la importancia de su tecnología, al tiempo que convertían a las matemáticas, la ciencia y a quienes trabajan en esos campos en colaboradores o en objetivos. En el 2025, una versión avanzada de Gemini de Google obtuvo la medalla de oro en la Olimpiada Internacional de Matemáticas, una competición mundial para los mejores estudiantes de secundaria. Tanto OpenAI como Anthropic, creador del chatbot Claude, lanzaron nuevos productos en los últimos meses orientados a impulsar la investigación de científicos y académicos, facilitándoles su trabajo. En mayo, OpenAI anunció lo que muchos matemáticos consideran el primer gran avance generado por la IA. Uno de los modelos aún no publicados de la compañía proporcionó un ejemplo que refutó la conjetura de la distancia unitaria, una antigua cuestión sobre las posibles disposiciones de puntos en una hoja de papel infinita. Lo logró utilizando una técnica conocida pero compleja de la teoría algebraica de números, un área diferente de las matemáticas. En aquel momento, Tsimerman afirmó que habría aceptado la respuesta en cualquier revista "sin dudarlo". Desde entonces, OpenAI y Anthropic han publicado una serie de resultados matemáticos contrapuestos. Quienes utilizan sus modelos de IA para generar hallazgos matemáticos han comenzado a eludir el flujo tradicional del campo en busca de nuevas ideas y descubrimientos, a veces con un toque informal. La investigación matemática suele ser colaborativa: los descubrimientos se debaten en seminarios, se comparten entre expertos y se publican en el sitio de preimpresiones arXiv antes de ser revisados formalmente por pares y publicados en una revista. La semana pasada, Levent Alpöge, matemático de Anthropic, optó por anunciar un nuevo resultado con una publicación de 24.000 caracteres en la plataforma social X que contenía únicamente los símbolos + y -. El extenso texto era un análisis, asistido por IA, de pares de vectores perpendiculares que apuntaban a las esquinas de un cubo de 668 dimensiones; una construcción que los matemáticos humanos creían posible, pero que nadie había podido demostrar. Alpöge publicó el texto con la ayuda de Claude. Ni él ni Anthropic respondieron a la solicitud de comentarios. En julio, Dmitry Rybin, fundador de la startup, le pidió a ChatGPT que lograra un avance decisivo para refutar una hipótesis sobre los flujos de red. Cada vez que el modelo fallaba, lo animaba a seguir intentándolo. Finalmente, ChatGPT presentó un ejemplo que refutaba la afirmación que, según él, había publicado en Twitter mientras veía una película con amigos. “¿Publicarías un tuit casual diciendo que has demostrado el gran problema mientras cocinas pasta y tomas algo con tus amigos? Claro que se va a hacer viral”, dijo el matemático David Bessis, citando un ejemplo que, por ahora, es hipotético. Algunos matemáticos que utilizan IA traducen sus resultados a un lenguaje de programación llamado Lean, que permite a una computadora verificar la lógica matemática paso a paso. Sin embargo, las traducciones en Lean son extensas y a menudo pedantes, a diferencia de la forma en que los investigadores redactan demostraciones en artículos formales destinados a ser legibles para los humanos. En junio, la preocupación por la confusión que generaban los resultados matemáticos generados por IA sobre qué se ha demostrado y qué no en este campo impulsó la publicación de la Declaración de Leiden, una carta abierta firmada por más de 3000 matemáticos. En ella se insta a los investigadores a utilizar las herramientas de IA de forma responsable, asegurándose, entre otras cosas, de que su trabajo se verifique y cite correctamente al distribuirlo públicamente. Otros expertos en el campo han argumentado que los matemáticos deberían evitar por completo el uso de la IA y de las empresas de IA para preservar el papel de los seres humanos. Si bien muchos investigadores matemáticos se han mostrado impresionados por las construcciones matemáticas generadas por IA, otros afirman que estas no han logrado abrir nuevas e importantes áreas de la teoría. Las matemáticas son un campo vasto, con muchos problemas abiertos que no han sido abordados directamente por humanos durante años, lo que brinda a los grandes modelos de lenguaje la oportunidad de probar nuevos argumentos sobre problemas previamente identificados. Algunos avances recientes han sido logrados por personas sin formación matemática formal. La semana pasada, Anthropic anunció que uno de sus empleados le había pedido a una versión interna de Claude que intentara resolver la hipótesis de Riemann, una de las preguntas abiertas más importantes del campo, con un premio de un millón de dólares para quien encuentre la solución. Tras ser animado repetidamente con indicaciones como “sigue adelante”, el modelo finalmente arrojó un nuevo hallazgo sobre un problema relacionado. Sin embargo, algunos matemáticos afirman que la prisa por encontrar soluciones mediante máquinas, podría poner en peligro la comprensión humana. “Las matemáticas se basan en comprender los resultados, no solo en demostrarlos”, afirmó Bryna Kra, profesora de matemáticas en la Universidad Northwestern, quien asistió a la reunión de OpenAI y fue una de las 16 organizadoras de la Declaración de Leiden. “Una demostración que no se comprende no se incorpora a la literatura especializada”, añadió. Melanie Matchett Wood, matemática de la Universidad de Harvard que colaboró en la elaboración de una versión redactada por humanos del resultado de la distancia unitaria de OpenAI, afirmó que los mejores modelos de IA parecen tener dificultades para explicar claramente su funcionamiento. Tienden a sobreexplicar las partes sencillas de un argumento y a pasar por alto las partes difíciles, explicó. “Los mejores modelos de IA no son capaces de comprender cuáles son las partes difíciles del argumento ni de exponerlas de una manera que las ponga de manifiesto”, dijo Wood, quien también asistió a la reunión de OpenAI. “Esta es una forma totalmente nueva de producir matemáticas”, añadió. “Todavía no tenemos normas sobre cómo debería hacerse”. Sébastien Bubeck, científico investigador y matemático de OpenAI que ayudó a organizar su cumbre este mes, expresó su esperanza de que los humanos puedan usar la IA para desarrollar métodos más potentes para las matemáticas. Los asistentes discutieron otros posibles escenarios futuros además del peor escenario planteado por Litt, dijo. "Este no es necesariamente el futuro que deseamos", afirmó. Según Bubeck, esas otras vías podrían hacer que las matemáticas se parezcan más a la ingeniería de software, donde la IA ayuda a cientos de personas a trabajar juntas en un problema común, o a la física, donde los problemas avanzados se resuelven acumulando inmensos recursos y los modelos de IA se utilizan como aceleradores de partículas. Otro posible futuro podría ser que las matemáticas se conviertan en algo parecido a la curaduría de un museo, dijo, donde la IA haga descubrimientos entre los que los humanos seleccionen. O tal vez el campo debería considerar reorientarse hacia la seguridad de la IA. “Tenemos que dar prioridad a las personas, a los seres humanos, a los matemáticos”, dijo. “Las matemáticas solo son interesantes en la medida en que los matemáticos aprenden de ellas” puntualizo.
