La inteligencia artificial ha pasado en pocos años de ser una curiosidad tecnológica a convertirse en un motor de transformación en múltiples ámbitos. Sin embargo, su enorme potencial también conlleva riesgos, y uno de los más graves —y menos visibles para el gran público— es el posible uso indebido de estos sistemas para facilitar el desarrollo de armamento, al democratizar el acceso a la información sobre el mismo.
En un contexto donde la información es poder, los modelos de lenguaje avanzados podrían, en teoría, guiar a criminales y organizaciones terroristas en aspectos técnicos relacionados con la proliferación nuclear. Esta preocupación ha dado pie a un proyecto pionero: una alianza entre Anthropic, empresa desarrolladora del modelo de lenguaje Claude, y la Administración Nacional de Seguridad Nuclear de Estados Unidos (NNSA), dependiente del Departamento de Energía, con el objetivo de crear un sistema de salvaguardias frente al mal uso nuclear de la IA.
Un problema de doble filo. La tecnología nuclear es intrínsecamente dual. Los mismos principios que permiten generar electricidad en un reactor también pueden aplicarse a la fabricación de armas atómicas. Esta ambigüedad convierte a la información nuclear en material extremadamente sensible.
El reto es aún mayor cuando hablamos de IA: los modelos de lenguaje, entrenados con grandes volúmenes de datos, podrían acabar respondiendo a preguntas técnicas de forma peligrosa. Aunque los casos de conversaciones de este tipo son raros, el riesgo es de alto impacto, pues afecta directamente a la seguridad nacional y global.
El experimento Anthropic–NNSA: un clasificador «antinuclear»
Para hacer frente a este desafío, Anthropic y la NNSA han co-desarrollado un clasificador especializado, una herramienta de IA que funciona de manera similar a los filtros de spam en el correo electrónico. En lugar de detectar publicidad no deseada, este clasificador distingue entre conversaciones benignas sobre energía nuclear, medicina o política, y aquellas que podrían indicar intentos de obtener información sensible sobre armamento nuclear.
El proyecto se basó en un proceso de red teaming: durante un año, expertos de la NNSA sometieron al modelo Claude a pruebas con preguntas y escenarios hipotéticos, identificando patrones de riesgo. Con esa información, y mediante la generación de cientos de ejemplos sintéticos, se entrenó el clasificador. Los resultados fueron prometedores: en pruebas preliminares alcanzó una precisión superior al 96%, logrando detectar casi el 95% de consultas peligrosas sin producir falsos positivos.
Este equilibrio es fundamental: si el sistema fuese demasiado estricto, podría bloquear a estudiantes legítimos de ingeniería nuclear; si fuese demasiado laxo, correría el riesgo de facilitar la proliferación.
Comprobando su efectividad en el mundo real
El clasificador ya se ha desplegado de forma experimental en parte del tráfico de Claude, y los primeros resultados muestran que funciona más allá de los laboratorios. Sin embargo, el entorno real presentó matices inesperados: por ejemplo, durante un repunte de tensiones en Oriente Medio, varias conversaciones legítimas sobre actualidad nuclear fueron inicialmente marcadas como ‘de riesgo’.
El problema se corrigió gracias a un sistema de resúmenes jerárquicos, que revisa varias conversaciones juntas para identificar su contexto, y así discernir entre un interés periodístico o académico y un intento real de proliferación. Este hallazgo refleja una realidad clave: la seguridad de la IA no depende de una única herramienta, sino de la combinación de múltiples capas que se refuercen entre sí.
Pero, si bien la creación de un clasificador antinuclear marca un hito en la seguridad de la IA, lo cierto es que plantea una pregunta mayor: ¿pueden las medidas de mitigación evolucionar al mismo ritmo que el desarrollo tecnológico? Al fin y al cabo, los modelos de lenguaje evolucionan con rapidez, y cada nueva generación es más potente y versátil… y eso multiplica tanto sus beneficios como sus riesgos.
Por fortuna, el esfuerzo realizado no repercutirá únicamente en provecho de Claude: Anthropic planea compartir su investigación recurriendo al Frontier Models Forum, la coalición de grandes compañías que cofundó con Amazon, Meta, OpenAI, Microsoft y Google, posicionándolo como una referencia para modelos de IA del sector.
Vía | Axios
Imagen | Marcos Merino mediante IA
–
La noticia
Misión: evitar que tu chatbot te explique cómo construir un arma nuclear. Anthropic ha creado una herramienta específica para eso
fue publicada originalmente en
Genbeta
por
Marcos Merino
.
