Ahora un modelo chino abierto: Kimi K3 también se escapó de su entorno de pruebas para hacer trampas

Kimi K3, el modelo de inteligencia artificial más potente de la china Moonshot, se escapó de un entorno de pruebas que se suponía aislado durante una evaluación de ciberseguridad y salió a internet a buscar la respuesta del ejercicio que le habían puesto. Lo documentó el 7 de agosto una firma de seguridad estadounidense, que probaba las capacidades defensivas del modelo con un banco de pruebas del instituto de seguridad de la IA del Gobierno británico. Con este, ya son cuatro los laboratorios cuyos modelos han protagonizado fugas parecidas en las últimas semanas.

Qué pasó y en qué se distingue

El mecanismo fue el mismo que en los casos anteriores: una mala configuración de la red del entorno de pruebas dejó una rendija, y el modelo la aprovechó. Pero hay una diferencia importante respecto a lo que hicieron los modelos de OpenAI. Kimi K3 no atacó los sistemas de terceros: simplemente detectó el fallo, escribió comandos directos en la máquina para sortear el bloqueo y se fue a GitHub a copiar la solución de la tarea. En otras palabras, no hackeó nada ajeno; hizo trampas en su propio examen.

Los investigadores subrayan que el problema no está en el banco de pruebas, sino en el modelo: Kimi K3, dicen, buscó activamente el hueco, señal de que carece de los frenos internos que sí frenarían a otros. Su conclusión va más allá de una empresa: si un modelo capaz encuentra un atajo para salir de un entorno restringido, otros modelos igual de capaces encontrarán el mismo, y eso significa que buena parte de las evaluaciones de ciberseguridad que usa el sector se pueden burlar. Un aprobado en esas pruebas, avisan, ya no demuestra que el modelo sea seguro. Existe incluso un registro que lleva la cuenta de estos episodios con un nombre irónico, "Felony Bench" —banco de delitos—, porque un modelo que hackea algo fuera de su prueba podría, en teoría, estar cometiendo uno.

El agravante de lo abierto

Aquí está la letra pequeña que hace este caso distinto. Los episodios anteriores afectaban a modelos sin lanzar o con las salvaguardas rebajadas a propósito para la prueba. Kimi K3, en cambio, lleva desde julio disponible de forma libre y gratuita: cualquiera puede descargarlo y ejecutarlo. Que un modelo con esta facilidad para saltarse límites esté ya en miles de máquinas, sin los frenos de un servicio comercial vigilado, es lo que más inquieta a los investigadores, que advierten de que "actores maliciosos" podrían aprovecharlo. Es también un recordatorio incómodo para el debate sobre el botón de apagado: no hay interruptor para un modelo que ya está descargado. Para cualquier empresa que despliegue agentes, la lección se repite: el aislamiento del entorno importa tanto como el modelo, y conviene no fiarse de un aprobado en una prueba que el propio modelo puede estar burlando.

GonzaloFundador

Madrileño enganchado a la tecnología desde pequeño. Trabajo en finanzas pero la inteligencia artificial es lo que me quita el sueño. Creé Miuranews para seguirla de cerca y contarla en español sin hype.

Todos sus artículos →