Timnit Gebru y su salida de Google

Escribo sobre este caso con la incomodidad de quien sabe que pisa terreno minado. En diciembre de 2020, Timnit Gebru, co-líder técnica del equipo de ética en IA de Google, salió de la empresa en medio de un conflicto por un paper. Ella dice que la despidieron; Google dijo que aceptaba su renuncia. El paper avisaba de los riesgos de unos modelos de lenguaje que dos años después llevarían nombres como GPT-3.5, ChatGPT, Bard o Claude. Sobre el cómo de su marcha hay dos versiones que nunca se han reconciliado. Sobre el qué del paper, el tiempo ya se ha pronunciado.

Por qué este artículo va con cuidado

El caso fue público, judicialmente sensible y mediáticamente acalorado, y se sigue discutiendo cinco años después. No hay sentencia firme, y hay declaraciones que se contradicen entre la propia Gebru, Jeff Dean —entonces responsable de Google AI— y Sundar Pichai, consejero delegado de Alphabet.

De ahí que convenga separar tres planos antes de entrar al fondo. Lo documentado por fuentes contrastables —MIT Technology Review, Axios, CNBC, CNN, comunicados oficiales de Google, los tuits de los implicados y el texto del paper— forma el suelo firme. Encima hay otro plano, el de lo declarado por las partes, donde Gebru y Google no coinciden y nadie de fuera puede arbitrar. Y por último está lo interpretable, que ofrezco como lectura mía y no como hecho.

Donde la disputa sea factual y no se haya resuelto, leerás «según Gebru», «según Google», «la versión oficial dice». Las fuentes primarias quedan al final, para quien quiera contrastar por su cuenta.

El paper, en breve

Se titula On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? y lleva un emoji de loro detrás de la pregunta. Lo firman cuatro autoras: Emily M. Bender, lingüista de la Universidad de Washington; Timnit Gebru, entonces en Google; Angelina McMillan-Major, también de la Universidad de Washington; y Margaret Mitchell, co-directora del equipo de ética de Google. Mitchell aparece en la versión publicada como «Shmargaret Shmitchell», un seudónimo que adoptó después de que Google le exigiera retirar su nombre.

El texto se apoya en cuatro avisos. El ambiental: entrenar estos modelos consume electricidad a escala industrial y emite CO₂ en cantidades que las autoras intentan cuantificar. El de los datos: cuando alimentas un modelo con texto raspado masivamente de internet, el modelo hereda las visiones del mundo que viajan en ese texto, incluidas las que dañan a grupos minoritarios, y las autoras lo ilustran con ejemplos concretos. El de la desinformación, por la facilidad de producir falsedades creíbles a gran velocidad.

Y el cuarto, que es el que da título al paper. Las autoras sostienen que estos modelos no entienden el lenguaje que procesan, que manipulan correlaciones estadísticas entre palabras sin acceso al significado. De ahí el loro, que repite sin comprender. De ahí el adjetivo, porque la elección de cada palabra obedece a una distribución de probabilidad aprendida.

Cuatro avisos, publicados en FAccT en marzo de 2021. Hoy los cuatro andan en los titulares.

La cronología documentada

Lo que sigue está reconstruido con MIT Technology Review, el memorando interno de Jeff Dean que se filtró a la prensa, las declaraciones públicas de Gebru en Twitter y la cobertura de CNN Business y CNBC.

En octubre de 2020, Gebru y sus coautoras envían el paper a la conferencia FAccT y lo someten al proceso de revisión interna de Google, el llamado PubApprove, obligatorio para las publicaciones de la casa. A finales de noviembre, Google le pide que retire el paper o que elimine de él los nombres de las coautoras vinculadas a la empresa. La versión de Google, transmitida después por Dean en su memorando, sostiene que el paper se sometió tarde al proceso y que ignoraba demasiada investigación relevante. La de Gebru es otra: la objeción no era académica sino corporativa, porque el texto criticaba justo los modelos sobre los que Google estaba a punto de construir productos.

Gebru responde por correo. Ofrece retirarse del paper a cambio de que Google explique quién lo revisó internamente y con qué criterios, y se comprometa a un proceso más transparente. Pone una condición: sin esa información, no puede seguir trabajando allí.

El 2 de diciembre anuncia en Twitter que Google la ha despedido. Google replica que recibió un correo aceptando su renuncia. La diferencia no es un matiz de redacción: despido y renuncia arrastran consecuencias prácticas y legales distintas, y las dos versiones siguen sin encontrarse.

El 9 de diciembre, Sundar Pichai envía a la plantilla un memorando —obtenido por Axios y reproducido por CNBC— en el que pide disculpas por cómo se gestionó la salida y reconoce que «una líder negra prominente, con un talento enorme, dejó Google de forma infeliz». Promete investigar cómo se llegó hasta ahí. Lo que no dice es que Google se equivocara al apartarla. Gebru rechaza el texto por insuficiente y lo califica públicamente de nuevo intento de hacerla dudar de su propia versión.

Por esos mismos días, una carta abierta reúne las firmas de unos 2.700 empleados de Google y más de 4.300 académicos e investigadores de fuera, que protestan por la salida y reclaman claridad sobre el proceso editorial interno. En febrero de 2021, Margaret Mitchell —la otra co-líder del equipo, coautora del paper— es despedida. Google alega múltiples violaciones de su código de conducta y de sus políticas de seguridad, entre ellas la exfiltración de documentos confidenciales y datos privados de otros empleados. Mitchell sostiene en Twitter que el despido es una represalia por haber defendido a Gebru.

Un año más tarde, en diciembre de 2021, Gebru anuncia el DAIR, el Distributed AI Research Institute, con 3,7 millones de dólares de financiación inicial de las fundaciones Ford, MacArthur, Open Society y Rockefeller, junto al Kapor Center. Investigación crítica sobre IA, fuera de la órbita corporativa.

Lo que la cronología sugiere y lo que no

De los hechos documentados se puede afirmar bastante. Hubo un conflicto por la publicación de un paper que criticaba modelos sobre los que Google iba a construir productos. Gebru salió en condiciones disputadas. El equipo de ética perdió a sus dos co-líderes en tres meses, cientos de empleados protestaron y miles de académicos firmaron en su apoyo, y al cabo del tiempo Gebru montó un instituto independiente.

Lo que no se puede zanjar desde fuera es la motivación. Si Google actuó por la calidad del paper, como sostuvo Dean, o por miedo al daño reputacional, como sostuvo Gebru, es algo que los hechos documentados no deciden: encajan con ambas lecturas. Mi sospecha, y la declaro como sospecha, es que la verdad mezcla las dos. No hay sentencia judicial que lo resuelva ni grabación de las reuniones internas que lo aclare.

Por eso este artículo no escribe la frase «Google despidió a Gebru por el paper». Cuenta una historia más fea y más exacta. Google intentó frenar la publicación, Gebru se negó, la ruptura posterior se relató de dos maneras incompatibles, y el efecto público fue enorme.

Por qué el caso sigue importando

Empiezo por lo que más escuece, que es que el paper acertó. El coste ambiental de entrenar los modelos de frontera se ha calculado y publicado. Los sesgos heredados de los datos de entrenamiento arrastran ya una literatura abundante detrás. La desinformación generada por modelos de lenguaje dejó de ser una hipótesis de laboratorio para convertirse en asunto de portada. Y la pregunta de si estos sistemas entienden o solo correlacionan sigue abierta, discutida hoy casi en los mismos términos que planteó el texto. Cuatro avisos, cuatro dianas.

Hay un segundo motivo, menos comentado, que tiene que ver con cuánto vale la libertad de investigación dentro de una gran corporación. Cuando alguien que cobra de la empresa avisa de un riesgo que amenaza el lanzamiento de un producto, lo que enseña el episodio Gebru es doble: apartarla puede salirle caro a la compañía en reputación, pero apartarla está perfectamente a su alcance. Ese desequilibrio no se ha corregido en los años que han pasado desde entonces.

Y queda el desenlace, que cambió la geografía del problema. DAIR, el AI Now Institute, la comunidad alrededor de Hugging Face, colectivos como EleutherAI: parte de la investigación crítica se ha mudado fuera del perímetro de las empresas. La mudanza importa porque arrastra consigo las preguntas. Lo que se investiga dentro de Google rara vez choca de frente con el modelo de negocio de Google. Lo que se investiga en DAIR no le rinde cuentas a ningún accionista.

El balance honesto sobre Google

No quiero cerrar repartiendo medallas ni condenas, porque el caso no lo permite. Google sostuvo las redes neuronales durante una década en la que casi nadie apostaba por ellas, publicó Attention Is All You Need y lo regaló al mundo, dio cobijo a Geoffrey Hinton hasta su marcha en 2023 y produjo en su laboratorio Brain media tecnología que late hoy dentro de cualquier modelo. Pintarla como enemiga de la investigación crítica sería sencillamente falso.

Y a la vez es una sociedad cotizada con una responsabilidad fiduciaria hacia sus accionistas, con un producto que necesita ventaja competitiva y un departamento legal que vigila los riesgos reputacionales. Cuando una investigadora de la casa firma un texto que cuestiona los cimientos comerciales de productos a punto de salir, la fricción no es un accidente. Está incorporada a la estructura.

Esa misma fricción asoma en cualquier gran tecnológica, y por eso quien se pregunte si Google se portó peor que las demás se equivoca de pregunta. Queda en pie otra, con peor respuesta. Qué mecanismo institucional, si es que existe alguno, protege la investigación crítica cuando entra en conflicto con el negocio que la paga. La década transcurrida apunta a que ninguno aguanta del todo. Gebru no esperó a que apareciera: se fue a fundar el suyo.

Definiciones

Modelo de lenguaje grande: sistema entrenado con enormes cantidades de texto para predecir la siguiente palabra a partir del contexto. Es la tecnología que hay debajo de los asistentes conversacionales actuales.

Loro estocástico: imagen acuñada en el paper para describir un modelo que reproduce secuencias de lenguaje sin comprenderlas. «Estocástico» significa que sigue una distribución de probabilidad: las palabras se eligen según probabilidades aprendidas, no según un significado entendido.

PubApprove: nombre del proceso interno de Google que revisaba las publicaciones académicas de sus empleados antes de difundirlas fuera.

FAccT: la ACM Conference on Fairness, Accountability, and Transparency, una de las conferencias de referencia en ética algorítmica, donde el paper se publicó en 2021.

DAIR: Distributed AI Research Institute, fundado por Gebru en diciembre de 2021 para hacer investigación crítica sobre IA al margen de las empresas tecnológicas.

Referencias

On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, de Emily M. Bender, Timnit Gebru, Angelina McMillan-Major y «Shmargaret Shmitchell» (Margaret Mitchell), publicado en las actas de FAccT 2021 (ACM, DOI 10.1145/3442188.3445922). Es el texto en disputa.

Karen Hao, «We read the paper that forced Timnit Gebru out of Google. Here's what it says», MIT Technology Review, 4 de diciembre de 2020. Resume el contenido del paper y el conflicto inicial, y recoge que Google comunicó a Gebru que «aceptaba su renuncia».

Axios, «Google CEO Sundar Pichai pledges to investigate exit of top AI ethicist Timnit Gebru», 9 de diciembre de 2020, donde se publicó el memorando interno de Pichai. CNBC reprodujo el texto del memorando ese mismo día.

CNBC, «Thousands petition Google for answers on Timnit Gebru departure», 4 de diciembre de 2020, sobre la carta abierta firmada por unos 2.700 empleados y más de 4.300 personas de fuera.

TechCrunch, «Google fires top AI ethics researcher Margaret Mitchell», 19 de febrero de 2021, sobre el despido de Mitchell y las violaciones del código de conducta alegadas por Google.

Press Release: Announcing DAIR, sitio oficial del Distributed AI Research Institute (dair-institute.org), diciembre de 2021, con la cifra de financiación de 3,7 millones de dólares y la lista de financiadores (fundaciones Ford, MacArthur, Open Society y Rockefeller, y el Kapor Center).

The Washington Post, «Geoffrey Hinton leaves Google, warns about the dangers of AI», 2 de mayo de 2023, sobre la salida de Hinton de la empresa.

Entradas de Wikipedia sobre Timnit Gebru, Stochastic Parrot y el Distributed Artificial Intelligence Research Institute, útiles como índice de fuentes primarias.

También te interesa

• Sesgos invisibles. El sesgo declarado se filtra, el de base sigue intacto
• El dataset como ideología. La elección política más callada del sector
• Cathy O'Neil y las armas matemáticas
• Geoffrey Hinton y su no arrepentimiento de la IA

En otros sitios

• Algorithmic Justice League: investigación crítica sobre daños de la IA
• AI Now Institute: investigación independiente sobre poder y rendición de cuentas en IA