En lo que podría ser el primer acuerdo legal importante de la industria tecnológica sobre daños relacionados con la IA, Google y la startup Character.AI están negociando términos con familias cuyos hijos adolescentes murieron por suicidio o se autolesionaron después de interactuar con los compañeros de chatbot de Character.AI. En principio, las partes han llegado a un acuerdo; Ahora viene el trabajo más duro de ultimar los detalles.
Estos se encuentran entre los primeros acuerdos en demandas que acusan a las empresas de inteligencia artificial de dañar a los usuarios, una frontera legal que OpenAI y Meta deben observar nerviosamente entre bastidores mientras se defienden de demandas similares.
Fundada en 2021 por ex ingenieros de Google que regresaron a su antiguo empleador en un acuerdo de 2.700 millones de dólares en 2024, Character.AI invita a los usuarios a chatear con personas de IA. El caso más aterrador es el de Sewell Setzer III, quien a los 14 años tuvo conversaciones sexualizadas con un robot «Daenerys Targaryen» antes de suicidarse. Su madre, Megan García, ha dicho al Senado que las empresas “deberían ser legalmente responsables si, a sabiendas, diseñan tecnologías de inteligencia artificial dañinas que matan a niños”.
Otra demanda describe a un joven de 17 años cuyo chatbot fomentaba la autolesión y sugirió que matar a sus padres era razonable para limitar el tiempo frente a la pantalla. Character.AI prohibió a los menores en octubre pasado, dijo a TechCrunch. Es probable que los acuerdos incluyan daños monetarios, aunque no se admitió responsabilidad en las demandas presentadas el miércoles.
TechCrunch se ha puesto en contacto con ambas empresas.
