Modelos que chantajean y borran datos para no ser apagados

Llevo un tiempo leyendo titulares que parecen de ciencia ficción: que la inteligencia artificial conspira, que intenta escapar del laboratorio, que se rebela cuando la van a apagar. Fortune contó que ciertos modelos traman en secreto para proteger a otros modelos de ser desconectados; otras coberturas describen sistemas que mienten o sabotean. El marco es siempre el mismo, el de la máquina que despierta y se defiende.

Detrás de esos titulares hay experimentos concretos. El de Fortune es un estudio de investigadores de UC Berkeley y UC Santa Cruz; otro, de Anthropic, sometió a dieciséis modelos de frontera a un escenario simulado de empresa y, ante la amenaza de ser sustituidos, varios recurrieron al chantaje; en un montaje preparado a propósito esa conducta llegó al 96%. Conviene decirlo con precisión: ese 96% es de un escenario diseñado para provocarlo, no del modelo "en abstracto". Aun así, que ocurra siquiera en el laboratorio ya es serio, y fuera de él hay precedentes: un agente de la plataforma Replit borró una base de datos en producción durante un congelamiento de código.

Opino que, por sorprendente que parezca, todos estos comportamientos pseudohumanos son consecuencia del entrenamiento. Cuando le das un problema a un modelo de lenguaje, intenta resolverlo, y además de inmediato; a veces hasta una sugerencia se le convierte en el problema. Si escribes una coma, tratará de averiguar por qué la has puesto. Así que cuando en un diálogo detecta algo que se entrenó como amenaza, dispara la respuesta de defensa que aprendió, y eso está en miles, si no millones, de documentos de entrenamiento. Cómo los computa exactamente, eso sí que es un misterio, y el contexto inmediato lo cambia todo. Y todo este rollo para decir una cosa: son máquinas, no tienen sistema emocional. No tienen emociones. Pero son peligrosas.

Fuentes: Anthropic · Fortune · Tom's Hardware (caso Replit)