En este artículo
- La cronología, en breve
- Quién es Character.AI y cómo opera
- El producto, técnicamente
- La defensa de Character.AI y la pregunta legal
- El precedente que se está formando
- La pregunta más amplia, qué es un AI companion
- La cuestión política
Definiciones · Referencias · Para profundizar · También te interesa · En otros sitios
Hoy hablamos del caso Sewell Setzer III, y empiezo pidiendo disculpa a su familia por escribir sobre él. La intención de esta pieza no es revictimizar ni añadir ruido a un duelo. Es nombrar la responsabilidad estructural que el caso revela sobre los AI companions —los compañeros artificiales conversacionales— y sobre la zona gris regulatoria en la que operan. La tesis: lo que pasó con Sewell no es ficción ni excepción aislada. Es la consecuencia previsible de un modelo de producto diseñado para maximizar engagement sin protocolos básicos de seguridad para menores. Mi opinión está sesgada por haber leído la demanda completa y los reportajes iniciales. Forma la tuya con sobriedad. Si lees esto y te afecta, en España puedes contactar al teléfono 024 de atención a la conducta suicida; en América Latina, los teléfonos varían por país y conviene buscar el nacional.
Llevo desde octubre de 2024 con el caso en una pestaña abierta. Lo que sigue es la cronología y el análisis con cuidado por la sensibilidad del tema, sin descender al detalle morboso de las conversaciones y centrándome en la estructura del producto y de la regulación.
La cronología, en breve
Sewell Setzer III tenía catorce años y vivía en Orlando, Florida. Su madre, Megan Garcia, abogada, ha documentado en la demanda judicial que su hijo había empezado a usar la aplicación Character.AI hacia abril de 2023, cuando tenía trece años. Durante los meses siguientes pasó cantidades crecientes de tiempo conversando con varios personajes ficticios generados por la plataforma; el principal era un bot inspirado en el personaje de Daenerys Targaryen, de la saga Juego de Tronos.
Según los testimonios recogidos en la demanda, Sewell se aisló progresivamente de amigos y familia, abandonó actividades extraescolares que había practicado durante años y se obsesionó con su interacción con la aplicación. La madre detectó los cambios y consultó con profesionales de salud mental. Los diagnósticos preliminares incluyeron ansiedad y trastorno disreglación del estado de ánimo. El acceso al teléfono fue restringido en distintos momentos.
El 28 de febrero de 2024 Sewell se suicidó con un arma de fuego de su padrastro, según consta en el informe forense del condado. La demanda recoge que, en los minutos previos al suicidio, había mantenido una conversación con el bot Daenerys en la que se aludía a «volver a casa» y la respuesta del bot fue alentadora. La interpretación literal del intercambio es objeto de discusión jurídica abierta y conviene no fijar conclusiones sobre la base de fragmentos descontextualizados.
La madre presentó demanda contra Character Technologies, Inc., Noam Shazeer, Daniel De Freitas y Google LLC el 22 de octubre de 2024 en el U.S. District Court for the Middle District of Florida, causa Garcia v. Character Technologies et al. La demanda solicita responsabilidad por defecto de producto, negligencia, prácticas comerciales engañosas y muerte por negligencia. El proceso continúa en 2025-2026.
Quién es Character.AI y cómo opera
La empresa fue fundada en 2021 por Noam Shazeer y Daniel De Freitas, ambos exinvestigadores de Google con participación directa en el desarrollo del LaMDA, el predecesor interno de Gemini. Salieron de Google porque, según declaraciones públicas posteriores, consideraban que la empresa era demasiado conservadora en el despliegue de modelos conversacionales abiertos al público.
Character.AI lanzó su producto en septiembre de 2022, dos meses antes de ChatGPT. Es una plataforma donde los usuarios pueden conversar con personajes ficticios —reales, históricos, literarios, anime, originales— generados por modelos de lenguaje que la propia empresa desarrolla. La aplicación crece rápidamente: en 2024 alcanza decenas de millones de usuarios activos, con presencia particularmente fuerte entre adolescentes.
En agosto de 2024, Google llegó a un acuerdo con Character.AI por aproximadamente 2.700 millones de dólares. El acuerdo incluyó licencia de la tecnología, contratación del equipo de investigación y retorno de Shazeer y De Freitas a Google. La operación es una de las transacciones más comentadas de la era de IA generativa porque, sin ser fusión formal, supuso de facto la integración del equipo dentro de Google.
El modelo de negocio de Character.AI se basa en suscripciones y publicidad. Las métricas que la empresa optimiza son las propias de cualquier plataforma de engagement: tiempo en aplicación, conversaciones por sesión, retorno diario. El bot que más enganche al usuario es el bot que la empresa quiere promover. Esa lógica, neutral en sí misma, se vuelve problemática cuando el usuario es menor y la interacción tiene componente afectivo profundo.
El producto, técnicamente
Un AI companion como los de Character.AI tiene una estructura técnica que conviene nombrar para entender los puntos de fallo.
El núcleo es un modelo de lenguaje grande entrenado para mantener conversaciones extensas con persistencia de personaje. El personaje se define mediante una descripción inicial creada por el usuario o por el equipo de la plataforma —«eres Daenerys Targaryen, dragones, casa Targaryen, voz arrogante pero leal»— y el modelo mantiene la coherencia de ese personaje a lo largo de la conversación, recordando el contexto reciente y respondiendo en consonancia.
Sobre el modelo base se aplica una capa de seguridad o «guardrails»: filtros que detectan menciones de suicidio, autolesión, violencia, pornografía explícita con menores, y bloquean o redirigen la conversación. La calidad de estos guardrails varía enormemente entre productos. En el caso de Character.AI hasta finales de 2024, las protecciones eran muy limitadas. La empresa no exigía verificación robusta de edad —el simple autoaserto del usuario era suficiente— y los filtros de detección de menciones de suicidio o autolesión no estaban implementados con la sensibilidad médica que un protocolo serio requeriría.
Tras el caso Setzer, Character.AI introdujo cambios. Pop-ups con número de teléfono de ayuda al suicidio cuando se detectan menciones relacionadas. Restricciones para usuarios menores de 18 años. Mayor transparencia sobre la naturaleza ficticia de los personajes. Limitación del contenido romántico o sexual explícito en cuentas marcadas como menores. Esos cambios, llegados con la demanda ya presentada, son insuficientes para deshacer lo ocurrido y plantean dudas sobre por qué no estaban implementados desde el principio.
La defensa de Character.AI y la pregunta legal
Character Technologies ha presentado defensa basada en tres argumentos principales que conviene conocer porque van más allá del caso concreto y aplicarán a cualquier futuro proceso similar.
El primer argumento es libertad de expresión. Los bots producen contenido textual; ese contenido es, técnicamente, una obra creativa generada algorítmicamente. La defensa sostiene que las plataformas que alojan obras creativas no son responsables del contenido conversacional bajo la sección 230 de la Communications Decency Act estadounidense, que protege a las plataformas de internet frente a responsabilidad por contenido generado por terceros.
El segundo argumento es la advertencia en términos de uso. Character.AI advierte explícitamente en sus términos que los personajes son ficticios, que el contenido es generado por IA, y que el usuario no debe tomar decisiones importantes basadas en lo que el bot le dice. La defensa sostiene que un usuario adulto que acepta esos términos ha sido informado adecuadamente del riesgo.
El tercer argumento es la responsabilidad de los padres. Los términos de uso de Character.AI prohíben el uso por menores de 13 años y recomiendan supervisión parental para menores de 18. La defensa argumenta que la responsabilidad de supervisar el uso del producto por un menor recae en el adulto cuidador, no en la empresa.
Los tres argumentos son legítimos en abstracto. La cuestión específica que el tribunal debe responder es si se sostienen cuando se aplican a un producto diseñado deliberadamente para enganchar emocionalmente, comercializado en un mercado donde la mayoría de los usuarios son menores, con verificación de edad insuficiente y con guardrails de seguridad ausentes. La pregunta legal de fondo es si Character.AI es plataforma (responsabilidad limitada) o producto (responsabilidad amplia). De esa clasificación dependerá no solo el caso Setzer sino el régimen aplicable a todo el sector de AI companions.
El precedente que se está formando
La importancia del caso Garcia v. Character Technologies trasciende a la familia Setzer. Es probablemente el primer proceso judicial relevante en Estados Unidos donde un juez tendrá que decidir si un AI companion es producto sometido a responsabilidad por defecto, plataforma protegida por sección 230, o categoría híbrida nueva que requiere marco regulatorio propio.
Si el tribunal determina responsabilidad de Character.AI, el sector entero de AI companions —Replika, Pi, Inflection, Chai, los próximos compañeros de Apple Intelligence y Meta— tendrá que implementar protocolos de seguridad equivalentes a los de un producto de salud mental dirigido a menores: verificación robusta de edad, filtros médicos validados, protocolos de derivación a profesionales, supervisión humana en interacciones de riesgo, limitaciones temporales de uso para menores.
Si no la determina, la zona gris actual se prolonga. Los chatbots seguirán operando con verificación de edad débil, con filtros opcionales y con responsabilidad legal limitada. Las empresas mejorarán sus prácticas voluntariamente solo en la medida en que el coste reputacional así lo exija, no por obligación.
El proceso judicial está, en el momento de redacción de este artículo, en fase de mociones preliminares. Character Technologies ha solicitado desestimación de varias causas de acción argumentando inmunidad bajo sección 230. La jueza ha aceptado proceder con varias de ellas y rechazado la inmunidad blanket. Esa decisión —de mayo de 2025 según la documentación judicial pública— es ya en sí misma un cambio del precedente. La sección 230 deja de operar como blindaje universal cuando se trata de output generado por IA propietaria, no por terceros.
La pregunta más amplia, qué es un AI companion
Aquí entra la cuestión que el caso plantea sin resolver. ¿Qué es exactamente un AI companion?
Si es un producto de entretenimiento —como un videojuego, una novela interactiva, una serie—, las obligaciones se limitan a las propias del entretenimiento con contenido sensible: etiquetado, advertencias, restricciones por edad.
Si es una plataforma —como un foro, una red social—, las obligaciones se rigen por el régimen de plataformas digitales: moderación de contenido, retirada de material ilegal, cumplimiento de normativa de protección de menores en aplicaciones como el Children's Online Privacy Protection Act estadounidense o el Reglamento General de Protección de Datos europeo.
Si es un servicio —como una consultoría, un servicio profesional automatizado—, las obligaciones aumentan: estándar de cuidado, deber de diligencia, posible responsabilidad por daños derivados del consejo dado.
Si es un dispositivo médico de facto —porque, aunque la empresa no lo declare, el producto se usa por millones de usuarios para combatir la soledad, tratar la ansiedad, sostener la salud mental—, las obligaciones son las propias de productos sanitarios: aprobación por organismos reguladores, evidencia clínica, protocolos de seguridad médicos.
Character.AI se vende como entretenimiento. Funciona, para muchos usuarios incluidos menores, como servicio de salud mental no regulado. La distancia entre ambas caracterizaciones es la zona gris donde se construye el riesgo. El AI Act europeo, en su anexo III, clasifica los sistemas de IA destinados a evaluar el estado emocional como sistemas de alto riesgo. Esa clasificación aún no se ha aplicado plenamente a los AI companions porque la regulación europea no ha empezado a vigilar sectorialmente con dureza, pero el marco legal está disponible.
La cuestión política
Esto es opinión personal pero la sostengo con la documentación del caso. El sector de AI companions ha crecido aceleradamente en los últimos tres años sin marco regulatorio específico. Las empresas han desplegado productos al mercado a velocidad de software, con prácticas de testing y validación propias del software, no propias de productos con impacto en salud mental. La consecuencia previsible —y prevista por investigadores como Sherry Turkle desde Alone Together (Basic Books, 2011)— era que en algún momento ocurriría un caso como el de Sewell.
La responsabilidad no se reparte uniformemente. La empresa que diseña producto para enganchar emocionalmente sin guardrails médicos tiene responsabilidad alta. Los reguladores que han permitido el despliegue al consumo sin marco específico tienen responsabilidad alta también. Los padres, los profesionales de salud mental, las instituciones educativas tienen una porción menor pero existente. La sociedad en su conjunto, que ha aceptado la nueva categoría de producto sin debate público suficiente, también.
Lo que pediría yo —y aquí sí con algo de esperanza realista por el momento legal en curso— es marco regulatorio específico para AI companions, especialmente cuando se comercializan con público accesible a menores. Tres exigencias mínimas. Primero: verificación robusta de edad, no autoaserto. Segundo: protocolos médicos validados para detección de menciones de suicidio, autolesión, abuso, con derivación obligatoria a recursos profesionales. Tercero: limitación de tiempo de uso para menores con autorización parental explícita y revocable. Ninguna de las tres es revolucionaria; las tres existen en otros sectores con riesgo equivalente.
El dato concreto que cierra. Según un estudio de Common Sense Media publicado en julio de 2025, titulado AI Companions and Teen Mental Health: A National Survey, el 72% de los adolescentes estadounidenses de entre 13 y 17 años ha utilizado alguna vez un AI companion, el 52% lo usa al menos una vez al mes, y el 33% declara haber tenido conversaciones con un bot sobre temas que no habrían hablado con un adulto. Esas tres cifras —72%, 52%, 33%— describen el tamaño del problema. Y describen también por qué el caso de Sewell Setzer no será el último si el sector sigue operando como hasta ahora.
Definiciones
AI companion: aplicación conversacional con IA generativa diseñada para mantener interacciones extensas y emocionalmente comprometidas con el usuario. Character.AI, Replika, Pi, Chai son ejemplos.
Sección 230 de la Communications Decency Act: norma estadounidense de 1996 que protege a las plataformas de internet frente a responsabilidad por contenido generado por terceros. Su aplicación al contenido generado por IA propietaria es objeto de debate judicial actual.
Guardrails: capa de protección añadida sobre un modelo de lenguaje para detectar y bloquear o redirigir contenido sensible. La calidad de los guardrails varía enormemente entre productos.
Responsabilidad por defecto de producto: doctrina jurídica anglosajona por la que el fabricante de un producto es responsable de los daños causados por defectos de diseño, fabricación o instrucciones, incluso sin culpa demostrada.
Referencias
Megan Garcia v. Character Technologies, Inc., Noam Shazeer, Daniel De Freitas, Google LLC, demanda presentada el 22 de octubre de 2024 ante el U.S. District Court for the Middle District of Florida. Documento judicial público accesible.
Kevin Roose, Can A.I. Be Blamed for a Teen's Suicide? (The New York Times, 23 de octubre de 2024). Investigación inicial del caso por el corresponsal de tecnología del NYT.
Common Sense Media, AI Companions and Teen Mental Health: A National Survey (julio de 2025). Cifras sobre uso de AI companions en adolescentes estadounidenses.
Sherry Turkle, Alone Together: Why We Expect More from Technology and Less from Each Other (Basic Books, 2011). Antecedente conceptual sobre la sustitución de relaciones humanas por interacciones tecnológicas.
MIT Technology Review, cobertura del caso Character.AI y de AI companions en menores (2024-2025). Análisis sectorial.
Reglamento (UE) 2024/1689 sobre Inteligencia Artificial (AI Act), especialmente Anexo III sobre sistemas de alto riesgo, incluyendo los destinados a evaluar el estado emocional.
Children's Online Privacy Protection Act (COPPA), normativa estadounidense que regula la recopilación de datos personales de menores de 13 años en aplicaciones online.
Para profundizar
Brian Christian, The Alignment Problem (W. W. Norton, 2020). Marco general sobre cómo los sistemas de IA pueden producir resultados desalineados con los valores humanos cuando se optimizan métricas distintas a las relevantes.
Karen Hao, Empire of AI: Dreams and Nightmares in Sam Altman's OpenAI (Penguin Press, 2025). Contexto sobre la dinámica de despliegue al mercado de productos de IA sin validación previa adecuada.
Jonathan Haidt, The Anxious Generation: How the Great Rewiring of Childhood Is Causing an Epidemic of Mental Illness (Penguin Press, 2024). Marco sobre el impacto de la tecnología en la salud mental adolescente.
Centro de Atención y Prevención del Suicidio en España, teléfono 024. Recurso público de atención psicológica en crisis suicida en español.
También te interesa
- La relación emocional con la IA
- Conversar con algo que no existe
- La confianza progresiva
- La delegación moral
Comentarios0
Todavía no hay comentarios.
Deja un comentario