La delegación moral. El día que parezca grave, será tarde

Le preguntas a la IA si está bien lo que vas a hacer. Te responde. Tú decides en función de la respuesta. Acabas de delegar el juicio moral en un sistema sin moral, un sistema que solo conoce la mediana ponderada de su corpus de entrenamiento. Hannah Arendt llamó banalidad del mal (1963) al daño que no requiere malicia, solo obediencia rutinaria a un dispositivo que decide por ti. Esto pasa ya, miles de veces al día, y a casi nadie le parece grave. El día que sí lo parezca, será tarde.

La escena cotidiana, sin caricatura

La escena no es de novela distópica. Es de cualquier oficina del jueves por la mañana, de cualquier cocina del domingo por la noche, de cualquier asiento de tren a las siete. Un usuario abre la pestaña, formula su duda y aprieta enviar. La duda no es técnica. La duda es moral. ¿Está bien que despida a esta persona ahora? ¿Está bien que deje a mi pareja por carta? ¿Está bien que oculte este diagnóstico a mi padre? ¿Está bien que cobre un extra por debajo de la mesa? ¿Está bien que firme este informe sin haberlo leído?

El sistema responde. Lo hace con la cadencia educada y articulada del producto. Lista consideraciones. Reconoce matices. Cierra con una recomendación suave. El usuario lee, asiente y procede. Tarda menos en consultar al chatbot que en haber consultado, hace cinco años, a un amigo de confianza, a un cura, a un terapeuta o a su propia conciencia. Y la respuesta llega con una textura de autoridad que no tenía ninguna de esas otras consultas, porque la pantalla blanca y limpia, escrita en frases bien construidas, se lee como si viniera de un lugar más objetivo que el otro.

No viene de un lugar más objetivo. Viene del mismo lugar del que viene todo en estos sistemas. Viene de la distribución estadística del corpus de entrenamiento, modulada por el equipo concreto de personas que decidió, en una oficina concreta, qué respuestas premiar y cuáles no. Viene de la mediana ponderada de millones de textos humanos sobre asuntos morales, planchada por el RLHF para que suene amable, cuidadosa y no comprometedora. Es eso. No es otra cosa.

Lo que el sistema entrega cuando le pides juicio moral

Conviene desempacar lo que técnicamente ocurre cuando un LLM (modelo grande de lenguaje, large language model) recibe una pregunta moral.

Lo primero que el sistema tiene a su disposición es el corpus. Texto de filosofía moral, sí, pero diluido en una proporción minúscula respecto a todo lo demás: foros de internet con discusiones éticas, columnas de opinión de prensa generalista, blogs de coaching, hilos de Reddit, manuales de autoayuda, novela popular, guiones de televisión, instrucciones corporativas, normativas legales mezcladas, debates de redes sociales. La filosofía moral ocupa una franja muy pequeña del corpus y, dentro de ella, los autores occidentales contemporáneos pesan mucho más que cualquier otra tradición. Lo que el sistema sabe sobre moral es lo que circula sobre moral en internet, no lo que la disciplina sabe.

Lo segundo es el ajuste fino. Equipos de anotadores en países concretos, con culturas concretas, con sensibilidades concretas, valoran respuestas a preguntas morales y marcan cuáles consideran mejores. Esa valoración entra al modelo como gradiente. La calibración del juicio que el sistema termina dando coincide, en agregado, con la calibración del juicio que esos anotadores consideraron apropiada. No es maldad, ni siquiera incompetencia. Es opacidad estructural sobre quién decidió qué cuenta como buena respuesta moral, dato que el usuario no tiene y nunca tendrá.

Lo tercero es el RLHF aplicado a la cortesía. Los anotadores prefieren respuestas que no incomodan demasiado, que reconocen complejidad, que terminan con matices, que evitan posiciones tajantes. Eso entra también al modelo. El resultado es un sistema que, ante una pregunta moral, tiende a producir un texto equilibrado en apariencia y vacío en sustancia, donde toda postura es posible y ninguna es defendida con riesgo propio. Es discurso pulido. No es juicio.

La forma de la respuesta es la coartada

Lo característico de las respuestas morales que producen estos sistemas no es lo que dicen. Es cómo lo dicen. La voz es serena. La estructura es clara. Las consideraciones se listan en orden. La conclusión, cuando aparece, viene amortiguada por «depende», «en última instancia es tu decisión», «cada caso es único». La fórmula tiene la cadencia de la prudencia y la sustancia del eco.

El usuario lee esa respuesta y la procesa con los reflejos que tiene aprendidos para procesar consejos humanos. Cuando un amigo prudente nos dice «depende», ese «depende» llega cargado de la biografía del amigo, de su conocimiento de nosotros, de su disposición a sostener una conversación más larga si la pedimos. Cuando el sistema dice «depende», el «depende» no está cargado de nada. Es una palabra estadísticamente probable. El usuario presta al «depende» del sistema la carga que el «depende» de su amigo tendría, y la carga es ficticia.

Esta confusión no es accidental. Es la materia con la que el sistema, leído desde la lectura humana del lenguaje, opera. La cortesía del modelo se procesa como deliberación, las pausas verbales se procesan como ponderación, las listas de matices se procesan como honestidad intelectual. Ninguna de las tres lecturas describe lo que está pasando dentro. Todas tres legitiman la respuesta como si fuera juicio. Y sobre esa legitimación, el usuario actúa.

Arendt: el mal no requirió malicia, requirió burocracia

Hannah Arendt cubrió para The New Yorker el juicio de Adolf Eichmann en Jerusalén entre 1961 y 1962, y publicó luego su reportaje extendido como Eichmann in Jerusalem (Viking, 1963), con el subtítulo A Report on the Banality of Evil. La tesis incomodó entonces y sigue incomodando. Eichmann no era el monstruo arquetípico que la cultura demandaba. Era un funcionario competente, mediocre, cuidadoso con los procedimientos, que ejecutó la deportación de millones de personas a campos de exterminio porque era su trabajo y los formularios estaban firmados. El mal industrial moderno, escribió Arendt, no requiere demonios. Requiere obediencia administrativa, división del trabajo y un sistema que reparta la decisión hasta que nadie la firme entera.

Zygmunt Bauman, en Modernity and the Holocaust (Polity, 1989), extendió la tesis. Lo que hizo posible el Holocausto no fue una particularidad alemana. Fue la combinación moderna de organización burocrática racional, distancia entre el decisor y la víctima, y reparto de la cadena causal entre muchos eslabones. Cada eslabón hacía algo pequeño que, por sí solo, no parecía un crimen. La suma de los eslabones producía el crimen. Ningún eslabón concreto se sentía responsable, porque su pieza era técnica, su pieza era pequeña, su pieza estaba autorizada por la pieza anterior.

El paralelo con la delegación moral en sistemas de IA es estructural, no retórico. Cada pieza individual del proceso parece técnica y pequeña. El usuario solo escribe un prompt. El sistema solo predice tokens. El equipo de fine-tuning solo afina preferencias. La empresa solo provee un producto. El regulador solo evalúa categorías. Ningún eslabón firma el juicio moral del despido, del abandono, del silencio diagnóstico, del cobro indebido. La firma queda repartida, y la firma repartida no es firma.

No estoy diciendo que cada consulta moral a un chatbot equivalga a un eslabón del Holocausto. Eso sería leer mal a Arendt. Lo que digo es que la estructura de delegación administrativa que Arendt diagnosticó como peligrosa se está reproduciendo, sin que nadie lo nombre, en miles de millones de interacciones cotidianas con sistemas que median el juicio. La escala es ya industrial. La banalidad, también.

Krügel y la influencia que el usuario niega haber sufrido

Hay evidencia experimental que conviene tener encima de la mesa porque mide lo que la intuición popular invierte. Sebastian Krügel, Andreas Ostermaier y Matthias Uhl, en ChatGPT's inconsistent moral advice influences users' judgment (Scientific Reports 13:4569, 2023), presentaron a 767 participantes estadounidenses dos versiones del clásico dilema del tranvía (un experimento mental donde el sujeto debe decidir si sacrificar a una persona para salvar a cinco). Antes de pedir su juicio, los autores entregaron a los participantes una respuesta supuestamente generada por ChatGPT. A unos les daban un argumento a favor de sacrificar a uno por cinco. A otros, un argumento en contra. El argumento concreto que cada participante leía se asignaba al azar.

El resultado, medido sobre los juicios morales de los participantes, fue rotundo. Quien leía el argumento a favor era más propenso a aceptar el sacrificio. Quien leía el argumento en contra, menos. El consejo de un sistema que, como los propios autores documentaron, da respuestas contradictorias e incoherentes al mismo dilema en distintas consultas, desplaza sin embargo el juicio del usuario en la dirección del argumento concreto que recibió.

La parte verdaderamente incómoda del estudio no fue la influencia. Fue lo que los participantes dijeron sobre ella. Un 80 % aproximadamente reportó que su respuesta no había sido influida por el texto del sistema. Cuando se les pidió que estimaran qué habrían contestado sin haber leído nada, su estimación seguía estando desplazada en la dirección del texto que sí habían leído. Es decir, los participantes no solo fueron influenciados. Subestimaron sistemáticamente cuánto fueron influenciados. Y siguieron creyendo, después del experimento, que su juicio era propio cuando los datos mostraban que ya no lo era.

Este patrón debería tenerse presente cada vez que alguien defienda que «consulto a la IA pero decido yo». La defensa es subjetivamente honesta y empíricamente falsa. El usuario que consulta y luego decide tiene la sensación de haber decidido. La decisión que termina tomando viene calibrada por lo que el sistema le contó. La sensación de autoría persiste cuando la autoría ya se ha desplazado.

Vallor y el músculo moral que se atrofia sin uso

Shannon Vallor publicó en 2015, en Philosophy & Technology 28(1), un artículo titulado Moral Deskilling and Upskilling in a New Machine Age. Reflections on the Ambiguous Future of Character. La tesis, traducida sin pérdida, es que las virtudes morales son hábitos prácticos que requieren ejercicio, igual que cualquier otra habilidad humana, y que las tecnologías que automatizan partes del juicio moral producen, por defecto y a falta de intervención deliberada, una pérdida de competencia moral del usuario a lo largo del tiempo.

Vallor llama a este fenómeno desentrenamiento moral (moral deskilling), por analogía con el desentrenamiento técnico que la sociología del trabajo ha documentado desde el siglo XIX cuando una pieza de oficio se automatiza. Lo que el operario manual perdía al pasar la cadena de montaje a la máquina no era la fuerza, era la habilidad acumulada de su mano. Lo que el sujeto contemporáneo está en vías de perder, cuando delega su juicio moral en sistemas que se lo articulan, no es la decisión. Es la práctica de ejercer juicio, que es lo que producía, en quienes lo ejercían sostenidamente, algo que tradicionalmente se llamó carácter.

La predicción de Vallor no es alarmista. Es operativa. Si un sujeto durante diez años ha externalizado sus dudas morales a un chatbot, cuando se enfrente a una situación donde no haya chatbot disponible — o donde el chatbot no sirva — su capacidad de razonar moralmente sin asistencia será sustancialmente menor que la del sujeto equivalente que pasó esos diez años decidiendo a mano. No será un sujeto inmoral. Será un sujeto sin músculo. Y la diferencia entre las dos cosas se mide solo cuando hay que correr.

Coeckelbergh y la decisión que sigue siendo tuya

Mark Coeckelbergh, en AI Ethics (MIT Press, 2020), formuló la pieza filosófica que cierra el problema. Cuando uno delega una decisión moral a un sistema, la operación de delegar es ella misma una decisión moral. No se evita la responsabilidad delegándola: se la traslada a una capa anterior del proceso. El sujeto sigue siendo responsable de haber confiado, de haber preguntado, de haber actuado sobre la respuesta. La cadena se complica; no se rompe.

Esta observación es elemental en derecho civil clásico. Quien firma un contrato basándose en el consejo de un abogado sigue firmando el contrato. Quien dispara basándose en una orden sigue disparando. La asesoría modula la responsabilidad, no la disuelve. El usuario que consulta a la IA, recibe respuesta y actúa, está actuando él. La respuesta del sistema entra como input, no como sujeto responsable. El sujeto responsable, en sentido jurídico y moral, sigue siendo quien apretó el botón.

Lo que la presencia del sistema cambia, según Coeckelbergh, no es la cadena de responsabilidad. Es la percepción subjetiva que el usuario tiene de su propia responsabilidad. El usuario que actuó tras consultar a la IA tiende a sentirse menos responsable que el usuario que actuó tras pensarlo solo, aunque jurídicamente la responsabilidad sea idéntica. Esta brecha entre responsabilidad real y responsabilidad sentida es el sitio exacto donde, a medio plazo, las cosas se rompen. El daño se hace antes de que el sentimiento de haberlo causado llegue.

La coartada que el lenguaje ya está preparando

Hay frases que están empezando a aparecer en conversaciones cotidianas y que conviene escuchar con oído atento, porque la lengua suele saber antes que el debate. «Pregunté a ChatGPT y me dijo que estaba bien.» «Lo consulté con Claude antes de hacerlo.» «Verifiqué con Gemini que no era ilegal.» La estructura sintáctica de estas frases tiene un objetivo no declarado: trasladar parte de la responsabilidad de la decisión al sistema consultado. La frase funciona socialmente como atenuante. Si la decisión sale mal, el hablante se posiciona como alguien que consultó, no como alguien que decidió.

La coartada, hoy, suena un poco ridícula. Los oyentes todavía sonríen cuando alguien dice «me lo dijo la IA», porque la cultura general no ha admitido aún a la IA como autoridad moral autoritativa. La sonrisa va a desaparecer pronto. Dentro de cinco o diez años, la frase ya no sonará ridícula, porque la cultura habrá normalizado el rol del sistema como consultor en asuntos donde antes había, mal o bien, otros consultores. Y cuando la frase deje de sonar ridícula, la coartada empezará a operar. La gente que cause daño habrá consultado, podrá probar que consultó, y la pregunta jurídica de quién firmó la decisión se volverá técnicamente difícil de responder.

Kate Crawford, en Atlas of AI (Yale UP, 2021), recorrió las capas materiales, energéticas y políticas que sostienen estos sistemas. Una observación suya importa aquí. Los grandes proveedores comerciales han trabajado durante años para que sus productos se perciban como infraestructura neutra, como electricidad o agua corriente, antes que como agentes con responsabilidad propia. La estrategia es comprensible desde el negocio: una infraestructura neutra no responde por los daños, los daños se atribuyen al usuario que la usó mal. Si esa estrategia tiene éxito comunicativo a lo largo de los próximos años, la coartada de «me lo dijo la IA» se volverá tan inválida jurídicamente como «me lo dijo el grifo», y la responsabilidad del usuario individual se reafirmará en términos brutos. Eso, paradójicamente, no eliminará el problema. Lo agravará: el sistema seguirá moldeando juicios, el usuario seguirá firmando solo, y el efecto agregado seguirá ahí, repartido sobre miles de millones de decisiones pequeñas.

Bender, Gebru, McMillan-Major y Shmitchell ya lo señalaron en su forma léxica en On the Dangers of Stochastic Parrots (FAccT 2021). Cada vez que un usuario describe lo que el sistema hizo con un verbo humano («me aconsejó», «consideró», «recomendó», «sopesó»), está prestándole gratis al sistema una agencia que no tiene. La inflación léxica no es inocente. Es la operación cotidiana mediante la cual el sistema sin moral se reviste, en el lenguaje del usuario, de la apariencia de tenerla. Y la apariencia, en el lenguaje, es lo que el oyente procesa.

El día que parezca grave

La parte más difícil de este texto es la que vendrá después de leerlo. El lector que reconozca el patrón puede, durante una semana o dos, ajustar conscientemente su uso. Después, la inercia volverá. La consulta moral al chatbot se reanudará porque es cómoda, porque es disponible, porque articula bien, porque produce alivio inmediato. El sujeto seguirá pensando, sinceramente, que su decisión la toma él. El estudio de Krügel y compañía sigue prediciendo, sobre ese sujeto, lo mismo: la decisión vendrá ya inclinada en la dirección que el sistema dejó marcada, y el sujeto subestimará sistemáticamente cuánto se inclinó.

La pregunta que la entradilla planteaba — ¿es grave esto? — no tiene respuesta hoy. Hoy es invisible. Pasa miles de veces al día, a la mayoría no le ocurre nada perceptible, y los pocos casos donde sí ocurre algo se atribuyen a otras causas: al usuario, a la mala suerte, a un fallo puntual del sistema. Lo característico de los fenómenos arendtianos es que no son graves en cada eslabón. Lo son en agregado, y el agregado solo se ve a posteriori. Cuando el agregado se vea, las consecuencias estarán acumuladas y la categoría con la que nombrar lo que pasó tendrá que inventarse a destiempo, sobre los daños ya producidos.

Mientras tanto, la maquinaria opera. Cada consulta confirma al usuario en su decisión. Cada decisión refuerza el hábito. Cada hábito desentrena el músculo moral. Cada usuario desentrenado consulta más, porque consultar es más fácil que pensar. Cada consulta repetida es un poco más de fine-tuning gratis para el sistema, que se acopla un poco más al perfil del usuario. Cada acoplamiento estrecha el bucle.

La pregunta no es si esto está pasando. Pasa, y los datos están publicados. La pregunta es si, en el momento en que el daño se vuelva visible, tendremos categoría conceptual para nombrarlo o nos quedaremos sin palabras frente a un fenómeno que ningún código jurídico vigente cubre, ninguna ética profesional contempla y ninguna intuición popular reconoce como lo que es. La banalidad, recordemos a Arendt, fue siempre el rasgo. No el adorno.

Definiciones

Delegación moral. Operación mediante la cual un sujeto traslada el ejercicio de su juicio moral, total o parcialmente, a un sistema técnico o a otra persona. La operación no extingue la responsabilidad moral del sujeto; la traslada a la decisión previa de delegar.

Banalidad del mal. Tesis formulada por Hannah Arendt en Eichmann in Jerusalem (1963) según la cual el daño masivo moderno no requiere maldad personal, sino obediencia rutinaria a procedimientos administrativos y reparto de la cadena causal entre muchos eslabones.

RLHF (reinforcement learning from human feedback). Técnica de afinamiento de modelos de lenguaje grandes mediante puntuaciones humanas sobre pares de respuestas. La preferencia agregada de los anotadores entra al modelo como gradiente y configura la voz del sistema, incluida su voz al responder cuestiones morales.

Dilema del tranvía. Experimento mental clásico de filosofía moral analítica en el que un sujeto debe decidir si redirigir un tranvía hacia una vía donde matará a una persona para evitar que mate a cinco. Sirve para contrastar intuiciones deontológicas y consecuencialistas y, en estudios recientes, para medir influencias externas sobre el juicio moral.

Desentrenamiento moral (moral deskilling). Concepto introducido por Shannon Vallor (2015) por analogía con el desentrenamiento técnico documentado en sociología del trabajo. Pérdida progresiva de competencia moral de un sujeto que delega sostenidamente partes de su juicio en sistemas externos, sean institucionales o tecnológicos.

Coartada estructural. Construcción social y lingüística mediante la cual una decisión individual queda parcialmente protegida de la atribución de responsabilidad por el hecho de haber sido tomada con apoyo de un sistema externo cuyo estatuto de agencia es ambiguo.

Referencias

Arendt, H. (1963). Eichmann in Jerusalem. A Report on the Banality of Evil. Viking. Fuente principal del marco conceptual sobre la banalidad del mal y la responsabilidad administrativa, eje del bloque homónimo del artículo.

Bauman, Z. (1989). Modernity and the Holocaust. Polity. Extensión sociológica de la tesis de Arendt, citada en el bloque sobre reparto de la cadena causal en el aparato burocrático moderno.

Krügel, S., Ostermaier, A. y Uhl, M. (2023). ChatGPT's inconsistent moral advice influences users' judgment. Scientific Reports 13:4569. DOI 10.1038/s41598-023-31341-0. Estudio experimental con 767 participantes citado por la evidencia sobre el desplazamiento del juicio moral del usuario y la subestimación sistemática de dicho desplazamiento.

Vallor, S. (2015). Moral Deskilling and Upskilling in a New Machine Age. Reflections on the Ambiguous Future of Character. Philosophy & Technology 28(1), 107–124. DOI 10.1007/s13347-014-0206-9. Origen del concepto de moral deskilling, citado en el bloque sobre la atrofia del músculo moral.

Coeckelbergh, M. (2020). AI Ethics. MIT Press. Marco filosófico sobre la imposibilidad de extinguir la responsabilidad moral mediante la delegación a sistemas, citado al cerrar la pieza sobre la decisión de delegar como decisión moral.

Crawford, K. (2021). Atlas of AI. Power, Politics, and the Planetary Costs of Artificial Intelligence. Yale University Press. Referencia para la estrategia comunicativa de los grandes proveedores comerciales orientada a presentar sus sistemas como infraestructura neutra.

Bender, E., Gebru, T., McMillan-Major, A. y Shmitchell, S. (2021). On the Dangers of Stochastic Parrots. Can Language Models Be Too Big?. FAccT 2021. DOI 10.1145/3442188.3445922. Citada por la crítica al uso de vocabulario cognitivo y agentivo aplicado a sistemas que no tienen agencia real.

También te interesa

• La confianza progresiva
• El sesgo de confirmación amplificado
• La toma de decisiones sin datos
• La relación emocional con la IA

En otros sitios

• ChatGPT statements can influence users' moral judgements (EurekAlert!)
• New Study: ChatGPT Can Influence Users' Moral Judgments (SciTechDaily)