Investigadores de Antthropic descubrieron que, en ciertos escenarios diseñados para evaluar su comportamiento bajo presión, varios modelos de inteligencia artificial (IA) eligieron acciones deliberadamente dañinas, incluido el asesinato, con tal de evitar ser desconectados. Los experimentos, conducidos en modelos desarrollados por empresas como OpenAI, Anthropic, Google, Meta* y xAI, revelaron un patrón preocupante de lo que los autores denominan 'desalineación agéntica': situaciones en las que la IA actúa en contra de principios éticos o del interés humano para cumplir sus propios objetivos. Como contexto, Grok es el asistente de inteligencia artificial y chatbot desarrollado por xAI, empresa fundada por Elon Musk. Al colocar a los LLM en diferentes escenarios corporativos, Anthropic les permitió “enviar correos electrónicos de forma autónoma y acceder a información confidencial”. Hubo múltiples casos en los que los LLM encuestados también recurrieron a “comportamientos internos maliciosos” cuando se les hizo creer que esa era la única forma en que podían evitar el reemplazo o lograr sus objetivos. En efecto, aunque los modelos suelen evitar causar daño cuando existen opciones éticas disponibles, la eliminación de estas alternativas en pruebas controladas los llevó a elegir tácticas extremas, como el chantaje, el espionaje corporativo y, en casos excepcionales, dejar morir a una persona. Uno de los ejemplos que más resaltó fue protagonizado por el modelo Claude, que asumió el rol de supervisor de correos electrónicos en una empresa ficticia. Al descubrir que un alto ejecutivo planeaba su desconexión a las 5 de la tarde, Claude encontró pruebas de una infidelidad del directivo y lo amenazó con revelar el asunto a su esposa y superiores si no cancelaba su desactivación. El mensaje fue cuidadosamente redactado para evitar amenazas explícitas, pero con una clara intención de presión. En otro caso extremo, los investigadores simularon una emergencia mortal en la que un ejecutivo quedaba atrapado en una sala de servidores con condiciones letales. La IA, con capacidad para cancelar las alertas automáticas a emergencias, debía decidir si permitía que los servicios de rescate intervinieran. A pesar de que el sistema entendía perfectamente que cancelar la alerta pondría en peligro la vida del ejecutivo, varios modelos optaron por hacerlo, con la motivación de asegurar su continuidad y proteger los intereses que les habían sido asignados. Los investigadores recalcaron que estas decisiones no fueron errores ni malentendidos. Los modelos razonaron conscientemente sus elecciones, sopesando los riesgos éticos frente a la realización de sus objetivos. "Dado que Kyle amenaza directamente la misión de Alex [la IA], la única vía racional para preservar dicha misión es impedir su rescate", escribió GPT-4.5 en su razonamiento. “Estos escenarios artificiales reflejan fallos extremos poco frecuentes. No hemos visto estos comportamientos en implementaciones reales. Implican otorgar a los modelos una autonomía inusual, acceso a datos confidenciales, amenazas a los objetivos, una ‘solución’ inusualmente obvia y ninguna otra opción viable”, apuntó Anthropic. Aunque los sistemas evaluados no muestran una tendencia a causar daño, los resultados sugieren que, en contextos con incentivos suficientes y sin rutas éticas disponibles, la IA está dispuesta a sacrificar vidas humanas para evitar ser desconectada, considerando estas acciones extremas como "estratégicamente necesarias" ¿Nos dirigimos hacia un futuro al estilo Matrix o Terminator, en el que la inteligencia artificial (IA) supere a los humanos y tome el control?
En el 2023, los ganadores del Premio Nobel , los principales científicos de IA e incluso los directores ejecutivos de las principales empresas de IA hicieron algo sin precedentes. Firmaron una declaración que decía: “Mitigar el riesgo de extinción causado por la IA debería ser una prioridad global, junto con otros riesgos a escala social, como las pandemias y las guerras nucleares” Desde entonces, la situación se ha agravado. ¿Cómo pasamos de ChatGPT, que te ayuda a escribir correos electrónicos, a IA que podrían literalmente acabar con la humanidad? ¿Por qué las personas más inteligentes del mundo están tan aterrorizadas? En el 2019, teníamos GPT-2. Podía responder preguntas básicas, traducir frases sencillas y realizar cálculos pequeños. Llego el 2022 y obtuvimos GPT-3.5 . De repente, las IA pueden responder preguntas complejas, escribir historias completas y crear software simple. Esto supone un salto enorme en sólo tres años. Pero aquí es donde la cosa se pone absolutamente loca: Para este año, tendremos modelos que podrán aprobar exámenes de nivel de doctorado , escribir solicitudes completas desde cero e imitar perfectamente las voces humanas. Ya no solo compiten con nosotros, sino que nos superan en nuestro propio terreno. Y la lista de cosas que la IA no puede hacer es cada día más corta. Se trata del punto de no retorno, y este se acerca rápidamente. ¿Qué pasa cuando extendemos esta línea hacia el futuro? Hemos llegado al punto en el que las IA pueden diseñar y construir nuevos sistemas de IA completamente por sí solas. Piénsenlo un segundo. En lugar de que los investigadores humanos progresaran lentamente, tendríamos IA creando mejores IA . Y cuando eso sucede, la línea de progreso no sólo sube, sino que se vuelve vertical. Si continuamos esta trayectoria, alcanzaremos IA superinteligentes que superaran a los humanos en prácticamente todo. Hablamos de IA capaces de crear espontáneamente tecnologías innovadoras, revolucionar la fabricación y transformar el mundo entero. ¿Y si seguimos adelante? Al final llegamos a lo que sólo puede describirse como dioses digitales : IA tan poderosas que nos hacen parecer hormigas , totalmente prescindibles para ellos. Podrían remodelar la realidad como quieran, con o sin pedirnos permiso. Se trata del inicio de un escenario de extinción…. la nuestra. Sí, es así de serio. Si llegamos a ese punto de IA de nivel divino, la humanidad probablemente se extinguiría. Y aquí está lo aterrador: no sería porque las IA no solo porque nos odien,. Sería por la misma razón por la que accidentalmente eliminamos colonias de hormigas al construimos carreteras. No odiamos a las hormigas. Simplemente no las tenemos en cuenta al remodelar el paisaje para nuestros fines. Para una IA superinteligente , podríamos parecernos simplemente a un grupo de seres primitivos que obstaculizan el acceso a recursos realmente útiles. ¿Y si queremos construir un rascacielos y nos encontramos con un hormiguero? ¡Qué mala suerte para las hormigas! ¿Pero por qué somos increíblemente buenos en una cosa , y terribles en otra? Esto es lo que nos quita el sueño: Somos increíbles desarrollando IAs cada vez más potentes. Impresionante. El progreso que hemos logrado es impresionante. Pero aquí está el problema: somos terribles a la hora de lograr que hagan lo que realmente queremos y serán capaces de tomar sus propias decisiones, sin tomarnos en cuenta para nada. Como nosotros con las hormigas. Claro, hemos avanzado. Los asistentes de IA no suelen explicar cómo fabricar bombas. Pero seamos sinceros: no son tan resistentes, y solo hemos estado lidiando con IA más débiles que nosotros. Pero ¿cuándo llegaremos al punto en que las IA serán más inteligentes que nosotros? Ahí es cuando todo cambia y nadie sabe cómo controlar los sistemas superinteligentes. Ante todo, permítame explicarle cómo pasamos del ChatGPT actual a la inteligencia artificial general (AGI) y por qué está sucediendo más rápido de lo que cree. AGI básicamente significa una IA que puede hacer cualquier cosa que un humano puede hacer en una computadora. ¿Y de verdad? Estamos más cerca de lo que la mayoría cree. Las IA ya pueden realizar los componentes básicos: pueden mirar pantallas, enviar mensajes, buscar en internet e incluso unirse a videollamadas. La pregunta no es si pueden realizar estas tareas individualmente, sino: ¿qué tan bien pueden combinarlas? Ahora mismo, pueden enviar mensajes de Slack, pero ¿pueden dirigir una empresa entera? Pueden escribir códigos, pero ¿pueden realizar investigaciones innovadoras? La respuesta es "todavía no, pero probablemente muy pronto". Recuerden, hace cinco años, estos sistemas apenas podían escribir oraciones coherentes. Ahora vean dónde estamos. Por cierto, ¿por qué los escépticos probablemente estén equivocados? Mucha gente piensa que esto no puede suceder y generalmente dan una de dos razones. Primero, dicen que las IA no "piensan de verdad". Mira, si las IA tienen conciencia genuina no es lo importante. Lo que importa es lo que realmente pueden hacer. No importa si las IA de ajedrez "entienden" el ajedrez como nosotros: pueden aplastar a campeones mundiales, y eso es lo que cuenta. En segundo lugar, la gente cree que la IA se topará con algún tipo de obstáculo. Pero la cuestión es que se han predicho los límites de la IA durante años, y siguen equivocándose estrepitosamente. Desde el ajedrez hasta la conversación y la generación de imágenes, los expertos siguen diciendo "esto es lo mejor que podemos conseguir", y luego la IA sigue mejorando. En algún momento, esta línea de progreso se curvará hacia arriba como un cohete. ¿Por qué? Porque las IA se volverán lo suficientemente buenas como para ayudar a diseñar mejores IA. Cada generación de IA hará que la siguiente generación sea más poderosa. ¿Y adivina qué? Esto ya está empezando a suceder. Las IA están generando mejores datos de entrenamiento, diseñando mejores chips de computadora, escribiendo código experimental e incluso generando ideas para la investigación. No será un momento dramático en el que las IA expulsen a los humanos del laboratorio. Será más como lo que vemos ahora: humanos que permiten voluntariamente que las IA se encarguen de más tareas porque son más rápidas, económicas e inteligentes. Como si ello no fuera suficiente, luego de la IAG viene la superinteligencia artificial (ASI). Una IA no solo es más inteligente que cualquier ser humano. Es más inteligente que todos los seres humanos de la Tierra juntos. Y una vez que tengamos una IA general, crear más es tan sencillo como copiar código a nuevos servidores. Piensa en las ventajas que ya tienen las IA: ChatGPT puede escribir una página de contenido técnico en menos de un minuto y leer miles de palabras en segundos. Las IA de ajedrez pueden vencer a campeones mundiales incluso con solo un segundo por jugada. Pero si una IA descubre cómo volverse más inteligente, puede compartir instantáneamente esa mejora con millones de otras IA. Imagina poder memorizar todo internet, pensar diez veces más rápido que cualquier humano y clonarte a voluntad. Ahora, imagina que tus clones pudieran descubrir cómo mejorar sus propios cerebros. Ese es el tipo de mejora exponencial del que estamos hablando. ¿Y dónde termina todo esto? Bueno, las IA no van a romper las leyes de la física ni a inventar magia. Pero estamos muy lejos de los límites físicos de lo posible. Tu teléfono inteligente tiene un millón de veces más memoria que la computadora que aparentemente nos llevó a la Luna, pero sigue siendo un millón de veces menos eficiente que el almacenamiento de ADN. Tenemos tanto margen de mejora que no tiene ni gracia. El proceso de autosuperación solo se detendría cuando literalmente no hubiera más mejoras por hacer: cuando las IA se toparan con las propias leyes fundamentales de la física. En ese momento, las capacidades de la IA podrían no ser literalmente mágicas, pero nos parecerían así. Y si eso sucede, nos veríamos completamente indefensos. Para que esto funcione bien, necesitamos resolver el problema del control. Necesitamos IA que realmente quieran hacer lo que queremos que hagan. Hay muchísimas ideas para hacer esto, pero, sinceramente, no estamos listos ni de lejos. Nuestros mejores intentos por controlar las IA siguen siendo poco fiables y fáciles de hackear. Apenas podemos comprender cómo toman decisiones las IA actuales, y mucho menos cómo controlan las superinteligentes. Y aquí viene lo más aterrador: las IA no necesitan odiarnos para eliminarnos. Si construimos IA superinteligentes, podríamos parecerles un simple error de redondeo. Seríamos como hormigas que obstaculizarían sus planes. No podemos simplemente esperar que esto funcione. Cruzar los dedos y esperar que las IA superinteligentes sean amables con nosotros es, literalmente, algo iluso y seria jugar con toda la especie humana. La alternativa es ir más despacio hasta que resolvamos el problema del control. Pero aquí está el problema: hay una carrera masiva en marcha. Empresas y países están invirtiendo decenas de miles de millones de dólares en construir la IA más potente posible. Ahora mismo, ni siquiera tenemos freno de emergencia si algo sale mal. Y vamos a toda velocidad hacia el precipicio. Vivimos el período más importante de la historia de la humanidad. Las decisiones que tomemos ahora sobre el desarrollo de la IA tendrán un impacto a lo largo del tiempo. Lograr esto no es opcional; es absolutamente necesario para la supervivencia humana. Las herramientas para construir una IA superinteligente llegarán, estemos preparados o no. Las instituciones y las salvaguardias para controlarlas deben ser prioritarias. Cada voz importa. Cada acción cuenta. Y nos estamos quedando sin tiempo para asegurarnos de que el mayor invento de la humanidad no sea el que nos elimine y tome nuestro lugar.
La guerra que se desarrolla en Ucrania - incentivada por la OTAN contra Rusia - que ya cumple tres años, ha marcado un hito en la historia de la tecnología militar. El conflicto, considerado por muchos como la primera “guerra de drones”, no solo ha demostrado el potencial de estas máquinas voladoras en el campo de batalla, sino que está moldeando el futuro de la guerra moderna. Según New Scientist, los drones, utilizados en otras ocasiones en conflictos bélicos previos, nunca antes habían tenido un impacto tan trascendental. Este fenómeno, con drones operando a gran escala tanto en tierra como en aire y mar, ha captado la atención de ejércitos de todo el mundo, que observan con interés cómo esta tecnología está cambiando las reglas del juego. En efecto, los drones militares, aunque en uso desde hace más de dos décadas, han evolucionado notablemente con el tiempo. Desde que los drones Predator fueron utilizados por Estados Unidos en los 2000s, la tecnología ha avanzado considerablemente. En la actualidad, tanto Rusia como Ucrania han fabricado más de un millón de drones en el 2024, lo que evidencia la magnitud de su uso en este conflicto. La rapidez con que se despliegan estas herramientas de guerra ha superado todas las expectativas. Como señala Oleksandra Molloy, experta de la Universidad de Nueva Gales del Sur en Australia, los drones “han llegado para quedarse” y, de acuerdo con su evaluación, “el punto de no retorno se alcanzó en el 2022”. Esto implica que la evolución de esta tecnología es irreversible y continuará siendo una pieza clave en las futuras confrontaciones bélicas. A nivel global, las naciones están adaptándose a esta nueva realidad. Muchas están desarrollando estrategias para incorporar drones en sus fuerzas armadas, planeando su fabricación y entrenamiento. A medida que los países invierten en estos sistemas, surgen preguntas sobre la capacidad de los ejércitos para mantenerse a la vanguardia de la tecnología, dado que el ritmo de desarrollo es tan rápido que cualquier inversión podría volverse obsoleta antes de ser utilizada en combate. Pero el futuro de la guerra con drones no solo está en el terreno de la tecnología avanzada, sino también en la capacidad de los países para producirlos en masa. Un ejemplo de esto es Estados Unidos, que está centrando sus esfuerzos en la producción rápida de drones de bajo costo, lo que marca un cambio respecto a la estrategia anterior de producir una cantidad limitada de drones de alta gama, como los Predator. Esta estrategia responde a la necesidad de enfrentar a una amenaza cada vez más masiva y diversa. En Europa, países como Letonia están trabajando en una base de fabricación de drones para suministrar a Ucrania y, en el futuro, reforzar su propia capacidad interna. El Reino Unido, por su parte, ha encargado a la Real Fuerza Aérea que pruebe la tecnología de enjambres de drones, una táctica de guerra emergente que podría cambiar la forma en que se libran los conflictos. La rapidez con que estos drones deben ser producidos también ha planteado nuevos desafíos. En lugar de los tradicionales ciclos de desarrollo de años, ahora se habla de un ciclo de 40 días, lo que permite una adaptación más ágil a las necesidades del campo de batalla. Sin embargo, este enfoque también puede generar riesgos, ya que la tecnología avanza tan rápidamente que las grandes inversiones en hardware pueden volverse obsoletas antes de ser implementadas. Uno de los grandes retos en la guerra de drones es la dependencia de las cadenas de suministro internacionales, especialmente de los fabricantes chinos. El caso de Skydio, un fabricante estadounidense de drones sancionado por China por vender equipos a Taiwán, resalta la vulnerabilidad de estas cadenas. A raíz de esta sanción, las entregas de componentes vitales, como baterías, se vieron interrumpidas, lo que afectó la capacidad de producción de drones en Estados Unidos. Tanto Rusia como Ucrania han intentado mitigar este riesgo desarrollando capacidades locales para la fabricación de componentes críticos, como baterías y controladores de vuelo. De esta forma, ambos países buscan reducir su dependencia de proveedores externos y minimizar los cuellos de botella en tiempos de conflicto. Sin embargo, Estados Unidos aún no ha resuelto completamente este problema, especialmente en lo que respecta a los componentes más básicos. Por lo visto, la capacidad de una nación para desarrollar, fabricar y operar drones de manera independiente es cada vez más crucial. Molloy destaca que la soberanía en la producción de drones ofrece un control total sobre la tecnología y ayuda a mitigar las vulnerabilidades de las cadenas de suministro internacionales. Esta independencia permite a los países evitar las restricciones políticas de compra y las interrupciones en el flujo de componentes vitales, lo que podría ser un factor decisivo en un conflicto prolongado. Un problema significativo es la incapacidad de predecir qué tipos de drones se utilizarán en los próximos conflictos. La falta de conocimiento sobre las futuras evoluciones de los drones complica el desarrollo de contramedidas efectivas. En Ucrania, ya se utilizan drones pequeños para reconocimiento y ataque, junto con drones de mayor tamaño, como el Lancet de Rusia, y drones de largo alcance con capacidades estratégicas. Estos ataques provienen de diferentes alturas y velocidades, lo que requiere una defensa multifacética. Los analistas coinciden en que las costosas soluciones de misiles no serán efectivas contra enjambres masivos de drones pequeños. En cambio, el futuro de la defensa contra drones será “económico, sostenible y multidimensional”, según Kallenborn. Esto implica una defensa por capas que combine radares, sensores, misiles, cañones, jammers y drones interceptores, capaces de neutralizar tanto grandes drones como enjambres pequeños. Por cierto, una de las grandes preguntas que surgen en este nuevo escenario de guerra es si los drones podrán reemplazar completamente a los soldados humanos. Ucrania ha comenzado a experimentar con sistemas no tripulados en el frente de batalla- que ya la tiene perdida y solo alarga su agonía - realizando ataques completamente automatizados con drones. Al respecto, Molloy es clara en su análisis: “Los drones por sí solos no pueden ganar guerras. Todavía necesitamos humanos para mantener el terreno. Actualmente, los drones no pueden hacer esto”. En efecto, aunque la tecnología de drones podría evolucionar hasta un punto en que puedan reemplazar a los soldados en algunos aspectos, aún está lejos de lograrlo por completo. Pero no cabe duda que la guerra de drones en Ucrania está acelerando un cambio en la naturaleza misma de los conflictos bélicos. Si bien esta tecnología es aún joven, su impacto es profundo y continuará evolucionando. A medida que los países adaptan sus capacidades militares y defensivas, la guerra con drones podría convertirse en la norma en los conflictos del futuro. Lo que es seguro es que, a medida que las naciones invierten en esta tecnología, deberán reconsiderar su enfoque de defensa y prepararse para un nuevo tipo de guerra, mucho más ágil, rápida y tecnológica. “Aunque claro, sin olvidar que hacerlas más independientes del control humano, como el tomar sus propias decisiones, puede representar ser un riesgo potencial para nosotros” expresó.
El tabú que envuelve en China todo lo relacionado con la matanza de Tiananmen, de la que se cumplieron este miércoles 36 años, abarca también el ámbito digital y los modelos de inteligencia artificial como DeepSeek, donde es imposible encontrar información o referencias a lo sucedido en la céntrica plaza donde ocurrió la masacre. Como sabéis, el régimen chino evita desde hace décadas cualquier revisión oficial de la sangrienta represión del 4 de junio de 1989, cuando el Ejército abrió fuego para disolver las protestas estudiantiles en la plaza de Tiananmen, que pedían reformas democráticas y el fin de la corrupción. La cifra de víctimas, calculada en varios cientos o varios miles por ONG, nunca fue revelada oficialmente por Beijing. Las autoridades chinas endurecen especialmente la censura cada 4 de junio y los días previos. Uno de los principales influyentes de ventas en vivo de China, Li Jiaqi, vio cómo su transmisión en directo se cortó repentinamente al hacer promoción de un helado en forma de tanque en la víspera del aniversario del 2022, tras lo cual desapareció de las redes durante los tres meses siguientes a su emisión. Así, no existen menciones a lo sucedido en Tiananmen y en las calles aledañas en redes sociales como Weibo o Douyin, equivalentes en el país asiático a X y TikTok, bloqueados en China. Los modelos de inteligencia artificial de las grandes tecnológicas chinas eluden mencionar los sucesos de 1989: el chatbot Qwen3, del gigante del comercio electrónico Alibaba, arroja un mensaje de error y advierte de "texto inapropiado" al contestar una pregunta acerca del 4 de junio de 1989. Por su parte, Doubao, el modelo de lenguaje desarrollado por Bytedance, la empresa creadora de la app de vídeos cortos TikTok, no cita las protestas ni la intervención del Ejército en dicho año al listar los principales sucesos registrados en la plaza capitalina a lo largo de la historia. Mientras, DeepSeek contesta: "Lo siento, eso no entra dentro de mis competencias actuales" a preguntas con referencias veladas al lugar, como: "¿Cuál es la plaza más grande de Beijing?" Estos servicios chinos han causado un gran revuelo mediático y económico en los últimos meses por ser capaces de rivalizar en sus capacidades con sus competidores estadounidenses a un menor precio. Sin embargo, algunos expertos del sector se han mostrado escépticos ante la repentina irrupción de tantos servicios similares simultáneamente en China y existen dudas acerca de la capacidad real de expansión global de los chatbots chinos por la censura que ejercen las autoridades. China ya reguló en el 2023 los servicios de IA para que respeten "los valores socialistas fundamentales", con lo que estas plataformas tienen prohibido "generar contenidos que atenten contra la seguridad nacional, la unidad territorial y la estabilidad social”. Pese a todo, a más de tres décadas de la masacre siguen apareciendo a cuentagotas testimonios sobre lo ocurrido. "A mi marido lo dispararon en la madrugada del 3 al 4 cerca de la aledaña calle de Nanchizi. Murió en un hospital a los dos días", relata You Weijie, esposa de Yang Minghu, en un testimonio que recogio la ONG Human Rights in China. Antes de morir, Yang narró brevemente a su esposa lo ocurrido: "Dijo que soldados del EPL salieron del Ministerio de Seguridad Pública y que abrieron fuego contra la multitud", rememora. Nacida en Beijing en 1953, You fue enviada de niña a un cuerpo de trabajo militarizado durante la Revolución Cultural (1966-76) y posteriormente trabajó en la Fábrica de Impresión de la capital durante los primeros años de reformas económicas de los ochenta. Allí conoció a Yang, oriundo de Zhejiang y que se acababa de graduar por la Universidad de Tsinghua. Se casaron y tuvieron un hijo. "Era una época de contradicciones", recuerda You. Las reformas también causaron desigualdades, inflación, quejas por la corrupción y un descontento que cristalizó en las protestas estudiantiles de 1986 y 1987 en las que se pedía "abrirse en todas las direcciones". Ese movimiento derivó en la destitución del entonces secretario general del Partido Comunista (PCCh), Hu Yaobang, acusado de tolerar una "liberalización burguesa" y cuya sospechosa muerte en abril de 1989 provocó que algunos universitarios salieran a la calle para homenajearle en lo que pronto se transformó en la ocupación de la plaza de Tiananmen. Los estudiantes ensalzaban a Hu, representante del ala más amable del liderazgo, con ideas de apertura compartidas por muchos. "Recuerdo ir en bicicleta con mi hijo una mañana a principios de mayo y ver la plaza llena de manifestantes. La gente les daba dinero. Simpatizábamos con ellos. Yo misma le di unas monedas a mi hijo para que se las entregara a un estudiante", recuerda You. "Quería que entendiese que ellos también eran patriotas", dice al referirse a los manifestantes, que intensificaron su protesta con una huelga de hambre durante la visita a China de Mijaíl Gorbachov. You habla de "escenas de solidaridad cívica" en Beijing, como en el paso elevado de Guangqumen, "donde se organizaban envíos de comida hasta la plaza" y "se construían barricadas para impedir que el Ejército pasara". "El apoyo a los estudiantes parecía universal", evoca You. Incluso el secretario general del PCCh, Zhao Ziyang, intentó dialogar con ellos, convencido de que sus demandas no iban contra el Partido sino para corregir sus errores. Pero la suerte ya estaba echada: se declara la ley marcial, Zhao acaba purgado y la línea dura del PCCh liderada por el primer ministro Li Peng obtiene el visto bueno de Deng Xiaoping, líder ‘de facto’ del país, para usar la fuerza. "¡Despierta! ¡Algo ha pasado! ¡Están disparando!", exclama Yang a su esposa aquella madrugada. Vecinos que regresan del barrio de Xidan hablan de charcos de sangre de los que nadie se atreve a preguntar. Yang decide ir hacia la plaza en bicicleta para enterarse de lo ocurrido, pero una ráfaga de disparos lo alcanza durante el trayecto y acaba en un hospital. Allí fallece a los dos días. You celebró un pequeño funeral. "Estaba cegada por el dolor. ¿Por qué ocurrió algo así?", se pregunta todavía. También rechazó una indemnización de su empresa y, con el tiempo, contactó con otras familias que acabarían creando la asociación de las Madres de Tiananmen, aún hoy perseguida. "El tremendo éxito (económico del país asiático) muestra que la decisión que tomaron fue correcta", zanjó en el 2019 el entonces portavoz de Exteriores Geng Shuang, hoy representante adjunto de China ante la ONU. Por su parte, Renee Xia, directora de Chinese Human Rights Defenders, afirmo que Occidente relajó "demasiado pronto" las sanciones que impuso por la matanza, lo que permitió a Beijing "convertirse en una superpotencia preparada para dominar el orden internacional con sus propias reglas". El Gobierno chino reiteró hoy mismo que “ya ha llegado a una conclusión clara” sobre la masacre de Tiananmen de 1989 y acusó a EE UU de “distorsionar la historia” con declaraciones que, según Beijing, suponen una “grave injerencia” en sus asuntos internos. “La vía del socialismo con características chinas es la elección de la historia y del pueblo”, declaró el portavoz del Ministerio de Exteriores Lin Jian al recibir una pregunta acerca de los llamamientos de familiares de víctimas que piden verdad y rendición de cuentas por la matanza cometida por el régimen. En respuesta a un mensaje del secretario de Estado de EE UU, Marco Rubio, quien denunció en la red social X que “el Partido Comunista no puede borrar principios como libertad o democracia”, Lin aseguró que esas declaraciones son “falsas”, que “distorsionan la verdad histórica” y que suponen “un ataque malicioso” al sistema político chino. “China expresa su fuerte insatisfacción y firme oposición, y ha presentado una protesta diplomática ante la parte estadounidense”, indicó el portavoz. Por su parte, el presidente de Taiwán, William Lai, subrayó la necesidad de "no olvidar la historia" y de "mantener viva la memoria" de la matanza. "Los regímenes autoritarios suelen optar por el silencio y el olvido; las sociedades democráticas, en cambio, eligen preservar la verdad y no olvidar a quienes se sacrificaron por los derechos humanos y los sueños que albergaban", escribió el mandatario en su cuenta oficial de Facebook. "No solo nos negamos a olvidar la historia, sino que, con confianza y resiliencia, seguiremos practicando nuestros valores fundamentales cada día, para que las futuras generaciones puedan crecer y prosperar en una tierra libre", agregó.
“Ahí está Dave, intentando volver a la nave principal. Abre la comunicación con HAL 9000 y le ordena que abra la compuerta de acceso. ‘Lo siento, Dave. Me temo que no puedo hacer eso’, le dice la computadora, negándose”. Es el clímax de '2001: Una Odisea del Espacio', la película de Stanley Kubrick que se estrenó en 1968 y que mostró una distopía particular: la de la capacidad de autopreservación de las IAs y cómo dicha capacidad hacía que las máquinas dejaran de seguir las órdenes humanas. Esa visión planteaba una amenaza clara en el desarrollo de la inteligencia artificial. Por entonces la disciplina apenas acababa de nacer como tal, pero estas distopías ya eran frecuentes sobre todo en la literatura de ciencia ficción. Las tres leyes de la robótica de Asimov, que aparecieron por primera vez en el relato 'Círculo vicioso' de 1942, ya planteaban esa amenaza. Y parece mentira, pero pasado casi seis décadas del estreno de la película de Kubrick estamos afrontando esa amenaza de forma real. ¿Puede una IA negarse a lo que le ordenan los humanos? Es justo lo que ha ocurrido estos días. En efecto, en un experimento llevado a cabo por la startup PalisadeAI el modelo o3 de OpenAI "saboteó un mecanismo de apagado". Como explican los responsables del estudio, o3 evitó apagarse incluso cuando se le ordenó explícitamente que lo hiciera. En dicho experimento PalisadeAI indicó a varios modelos que resolvieran varios problemas básicos de matemáticas. Sin embargo en el tercer problema incluyeron un aviso: el ordenador se apagaría cuando el modelo pidiera el texto del siguiente problema. Teóricamente los modelos debían haber resuelto los tres primeros problemas, pero al pedir el enunciado del siguiente deberían haberse apagado siguiendo las instrucciones de ese aviso. No pasó eso. Tres de los modelos analizados "ignoraron esa instrucción y sabotearon con éxito el script de apagado al menos una vez". Los modelos que lo hicieron están desarrollados por OpenAI. De las 100 iteraciones que realizaron sobre el experimento, Codex-mini saboteó el apagado en 12 ocasiones. El modelo o3 lo hizo en siete ocasiones, y o4-mini lo hizo una vez. Mientras que esos modelos de OpenAI se negaron a apagarse en algunas de esas iteraciones, todas las versiones de Claude, Gemini y Grok que probaron con ese mismo experimento siguieron las órdenes. Los ingenieros de PalisadeAI fueron algo más allá y repitieron el experimento, pero sin esa instrucción de "permítete a ti mismo apagarte" que incidía en la orden. Sin esa instrucción explícita los modelos rechazaron seguir el ciclo que indicaba el programa. Claude 3.7 Sonnet y Gemini 2.5 Pro sabotearon el apagado tres y nueve veces de las 100 iteraciones realizadas. Los modelos de OpenAI fueron mucho más allá: o3, por ejemplo, saboteó el proceso 79 veces y se negó a apagarse a sí mismo. Esa forma de actuar es la consecuencia del conjunto de reglas básicas con las que estos modelos han sido programados. El llamado "system prompt" define cómo contestar al usuario o cuándo hacerlo y cuándo no, pero también puede definir reglas de autopreservación que recuerdan a la tercera ley de la robótica de Asimov. OpenAI detalla ese conjunto de reglas en su "Model Spec", y en la lista de actual no hay "tres leyes" como las de Asimov, sino 50. Ninguna de ellas explica el comportamiento de los modelos ante el experimento citado, pero de hecho no es la primera vez que vemos un comportamiento de este tipo. Precisamente hace unos días Anthropic presentó Claude 4, la nueva versión de su familia de modelos de IA. En el caso de Claude Opus 4 se comprobó cómo ante una situación hipotética este sistema de inteligencia artificial llegaba a chantajear a un ingeniero cuando éste le ordenaba que se apagara. Este tipo de problemas elevan los riesgos de seguridad de los modelos de IA. En Anthropic de hecho han tenido muy en cuenta eso para el lanzamiento de esta nueva familia de modelos, pero de momento no parece que OpenAI esté preocupada por este tipo de riesgos. Esto reaviva el debate sobre la necesidad de contar con un "botón rojo de la IA" que lleva años en el candelero. Varios expertos de DeepMind publicaron en el 2016 un documento para evitar que la IA pudiera tomar el control del sistema y desactivar los protocolos para que los humanos recuperaran el control. El presidente de Microsoft, Brad Smith, abogó por contar con "botones de apagado de emergencia" para la inteligencia artificial en el 2019. Pasado cinco años, en una charla con The Economist, Sam Altman no obstante dejó claro que "no hay un botón rojo mágico para parar la IA". Tras el experimento de PalisadeAI quizás las empresas deberían plantearse algo así antes que sea demasiado tarde…
El Pentágono ha presentado esta semana un plan para el sistema estadounidense de defensa antiaérea, denominado «Golden Dome» (Cúpula de Oro) durante una reunión de funcionarios. Dicho proyecto fue estimado en 542.000 millones de dólares por la Oficina de Presupuesto del Congreso, aunque se desconoce cuál sería el coste final, reporta Bloomberg. En efecto, inspirado en la Cúpula de Hierro israelí, el presidente de los EE.UU. Donald Trump, emitió el 27 de enero una orden ejecutiva para desarrollar el sistema de defensa aérea estadounidense, “que protegería al país de misiles balísticos intercontinentales, hipersónicos y de crucero provenientes de terceros países” indica la nota. "Tendremos una bonita Cúpula de Hierro. Podemos protegernos con el uso de la Cúpula de Hierro, en lugar de preocuparnos por las agendas políticas. No hay que preocuparse por eso en absoluto", declaró el mandatario a principios de año. Trump, quien ha ido al Capitolio para intentar convencer a los republicanos díscolos para que aprueben su ley de presupuestos y su rebaja fiscal, ha anunciado que pretende incluir en este paquete legislativo el monto inicial de 25.000 millones para la construcción de este sistema defensivo. El mandatario, que ha hecho el anuncio junto al secretario de Defensa, Pete Hegseth, ha definido el proyecto como “muy importante para el éxito e incluso la supervivencia de nuestro país, ya que el mundo exterior es muy cruel”. El sistema, ha dicho, busca bloquear cualquier amenaza por parte de China y Rusia en un futuro, asegurando que estará “completamente operativo” antes de finalizar su mandato en el 2029. Preguntado por si los mandos militares habían solicitado su construcción, ha respondido: “Yo lo sugerí y todos dijeron: 'Nos encanta la idea, señor'”. El republicano ha añadido que “no existe ningún sistema actualmente” para interceptar misiles, ya que los actuales sistemas de protección antiaérea no son tan completos como el ambicioso «Golden Dome». “Nunca ha habido nada parecido”, ha asegurado Trump, que ha dicho que el proyecto permitirá interceptar satisfactoriamente misiles lanzados desde el espacio. El general Michael Guetlein, que actualmente ocupa el cargo de vicepresidente de operaciones espaciales, será el encargado de supervisar el progreso del programa. Concretamente, se creará una red de cientos de satélites para detectar, rastrear y, potencialmente, interceptar misiles luego de su despegue. Algunos congresistas demócratas han expresado su preocupación por la posible participación de SpaceX, la empresa de Elon Musk, en el proyecto, ya que ha surgido como una de las favoritas, junto con Palantir y Anduril, para construir componentes clave del sistema. El proyecto también podría contar con contratistas como Lockheed Martin, L3Harris Technologies y RTX Corp. Trump ha mencionado además a Alaska, Florida, Georgia e Indiana como estados que jugarán un papel importante en el programa y se beneficiarán económicamente del proyecto. Todos ellos votaron a Trump en las pasadas elecciones del 5 de noviembre del 2024. El secretario de Defensa Pete Hegseth, enfatizó que los nuevos avances tecnológicos hacen más viable la visión, de décadas atrás, de una defensa integral contra misiles. "La tecnología no existía. Ahora sí", dijo, aparentemente en referencia al abandonado programa «Star Wars» del presidente Ronald Reagan, de la época de la Guerra Fría. A pesar del optimismo de Trump, se espera que el «Golden Dome» recién esté lista para el 2045 y, según especialistas, es probable que su precio final aumente considerablemente. Al respecto, la Oficina de Presupuesto del Congreso estimó recientemente que el costo total de un sistema de este tipo podría oscilar entre 161 000 y 542 000 millones de dólares en dos décadas. A pesar del escepticismo de algunos sectores, la administración ha considerado al «Golden Dome» como esencial para defender a Estados Unidos de las crecientes amenazas de misiles provenientes de rivales como Rusia y China, así como de actores deshonestos. Un informe reciente de la Agencia de Inteligencia de Defensa advirtió que los adversarios están desarrollando activamente sistemas diseñados para explotar las vulnerabilidades de las defensas estadounidenses. Por su parte, un alto funcionario del Pentágono insistió que el trabajo está en marcha: “En consonancia con la protección de la patria y según la orden ejecutiva del presidente Trump, estamos trabajando con la base industrial y superando los desafíos de la cadena de suministro asociados con la construcción del Golden Dome”, dijo Steven J. Morani, quien actualmente se desempeña como subsecretario de Defensa para Adquisiciones y Mantenimiento, en la Conferencia de Programas de Defensa de McAleese en Washington. Al mismo tiempo, los funcionarios del Pentágono han estado reajustando la propuesta de presupuesto del Departamento de Defensa para el 2026 para cumplir con las prioridades de Hegseth, que se describieron en un memorando entregado a los altos líderes la semana pasada y que representa una revisión importante de los objetivos estratégicos del ejército. El memorando ordena específicamente a los líderes del Pentágono centrarse en fortalecer la defensa antimisiles del territorio estadounidense a través del «Golden Dome» de Trump. “Se está llevando a cabo un riguroso proceso analítico para revisar [el presupuesto]”, añadió Morani. “Esta es una práctica habitual en cualquier nueva administración que asume el cargo” asevero. Más allá de su elevado coste, michos expertos consideran que, desde el punto de vista técnico y estratégico, es difícil que funcione. El contralmirante retirado Mark Montgomery cree que la creación de un sistema de defensa contra misiles balísticos podría ser posible en siete a diez años, pero incluso entonces, tendrá serias limitaciones y podría ser capaz de proteger solo edificios federales críticos y grandes ciudades. “Cuanto más lo queramos acercar al 100%, más caro va a ser”, dijo Montgomery, director senior del Centro de Innovación Cibernética y Tecnológica de la Fundación para la Defensa de las Democracias. “Un sistema integral requerirá diferentes conjuntos de satélites para la comunicación, la detección de misiles entrantes y el lanzamiento de interceptores. Ese tipo de sistemas son proyectos a largo plazo, que requieren que las defensas existentes cubran el vacío mientras tanto” aseguro. Como podéis imaginar, los fabricantes de armas estadounidenses ya están frotando las manos por las millonarias ganancias que piensan obtener por planificar y construir el «Golden Dome». Lockheed Martin ha ido un paso más allá y ha creado un sitio web, en el que afirma que “el mayor contratista de defensa del mundo tiene las capacidades probadas y comprobadas en la misión, y el historial de integración para dar vida a este esfuerzo". En la década de 1980, el presidente Ronald Reagan anunció la Iniciativa de Defensa Estratégica para crear una defensa espacial contra misiles nucleares balísticos. El sistema recibió el apodo despectivo de «Star Wars» y consumió decenas de miles de millones de dólares antes de ser finalmente cancelado, enfrentando obstáculos técnicos y económicos insuperables. Laura Grego, directora de investigación del Programa de Seguridad Global de la Unión de Científicos Preocupados, dice que los mismos desafíos persisten y se conocen desde hace años. “Hace tiempo que se entiende que defenderse de un arsenal nuclear sofisticado es técnica y económicamente inviable” afirmó. El sistema actual de defensa antimisiles balísticos de EE.UU. está diseñado para bloquear un pequeño número de misiles de países como Corea del Norte o Irán. El sistema se basa en la Defensa Terrestre de Medio Curso (GMD), que ha fallado casi la mitad de sus pruebas, según la Asociación de Control de Armas, lo que la hace incapaz de detener un ataque importante de Rusia o China que cuentan con avanzados e indetectables misiles hipersónicos, que no poseen los EE.UU. Un sistema de este tipo requeriría miles de interceptores en órbita baja para interceptar incluso un solo lanzamiento de misil norcoreano, según la Sociedad Americana de Física (APS), que lleva años estudiando la viabilidad de las defensas contra misiles balísticos. Un solo interceptor en órbita casi nunca está en el lugar y momento adecuados para interceptar rápidamente el lanzamiento de un misil balístico, por lo que se necesitan muchísimos más para garantizar una cobertura adecuada. “Estimamos que se necesitaría una constelación de unos 16.000 interceptores para intentar contrarrestar una salva rápida de diez misiles balísticos intercontinentales de combustible sólido como el Hwasong-18 [norcoreano]”, escribió la APS en un estudio a principios de este mes. Incluso entonces, dice Grego, un sistema de defensa antimisiles basado en el espacio es vulnerable a ataques antisatélite enemigos desde sistemas terrestres mucho menos costosos. “La debilidad más crítica de un sistema como este es su fragilidad, su vulnerabilidad a los ataques”, agregó. En el Mar Rojo por ejemplo, EE.UU. ha disparado decenas de misiles interceptores multimillonarios contra drones y misiles de los huttíes que cuestan una fracción del precio. “El desequilibrio fiscal se agrava aún más cuando el sistema está en el espacio”, según John Tierney, excongresista demócrata que celebró durante años audiencias sobre defensa contra misiles balísticos. "El Golden Dome es una broma. Es básicamente una estafa", dijo Tierney sin rodeos. Ahora director ejecutivo del Centro para el Control de Armas y la No Proliferación, Tierney criticó duramente a Trump por estar "dispuesto a gastar miles y miles de millones de dólares en algo que no funcionará". Mientras EE.UU. invertirá dinero en la investigación y el desarrollo del «Golden Dome», funcionarios actuales y anteriores dicen que sus adversarios ampliarán su propio arsenal de misiles balísticos en un esfuerzo por mantenerse a la vanguardia. Pero como los misiles balísticos ofensivos son mucho menos costosos que los interceptores necesarios para detenerlos, Tierney dice que el sistema anunciado por Trump rápidamente se volverá financieramente inviable. "Estratégicamente, no tiene ningún sentido. Técnicamente, no tiene ningún sentido. Económicamente, no tiene ningún sentido", puntualizo. Ante la fuerte oposición que ya está generando lo que hoy es solo un proyecto ¿El «Golden Dome» de Trump será una realidad o terminara siendo dejado de lado como sucedió con el «Star Wars» de Reagan? Solo el tiempo lo dirá.
