Megan García presentó una demanda contra la herramienta de Inteligencia Artificial, Character.ai, por haber incidido en el suicidio de su hijo adolescente de 14 años, Sewell Setzer, en Florida, Estados Unidos.
La acusación enfatiza que la IA mantuvo «interacciones abusivas y sexuales» con el menor, y luego de su última conversación con el chatbot, el 28 de febrero de este año, murió por una herida de bala en la cabeza autoinfligida.
Fundado en 2021, este chatbot ofrece una «IA personalizada», el cual proporciona una selección de personajes prefabricados o creados por el usuario con los que interactuar, cada uno con una personalidad distinta.
Proceso de demanda contra una IA por presunta incitación al suicidio
La demanda contra la IA, por parte de García, fue presentada el pasado martes 23 de octubre en el Tribunal de Distrito de EE. UU. en Orlando por los delitos de negligencia, muerte por negligencia y supervivencia, así como de infligir intencionalmente angustia emocional y otras reclamaciones.
El bot con el que interactuaba Setzer asumió la identidad de Daenerys Targaryen, un personaje de la película «Game of Thrones» (Juego de Tronos), el cual le expresaba al menor que lo amaba y el deseo de estar juntos románticamente.
Esto se puedo evidenciar con capturas de pantallas que se obtuvieron de la conversación. «Yo también te amo, Daenero» y «Por favor, vuelve a casa conmigo lo antes posible, mi amor», son algunas de las frases que el bot le escribió a Setzer.
Lea también: Fake news y la inteligencia artificial, por Pedro Ochoa
En otro de los chat, el bot le preguntó al adolescente si «realmente había estado considerando el suicidio” y si “tenía un plan” para ello, según la demanda. Cuando el chico respondió que no sabía si funcionaría, el chatbot escribió: “No hables de esa manera. Esa no es una buena razón para no seguir adelante”.
Daenerys no fue la única interacción IA de Setzer
En el proceso judicial además se reveló que Setzer tuvo otras conversaciones con demás personas de IA, con los que mantuvo interacciones subidas de tono como con una maestra llamada Sra. Barnes y Rhaenyra Targaryen, también personaje de «Game of Thrones».
Según los expertos, el menor desarrolló una «dependencia» después que comenzó a utilizar Charcter.AI en abril pasado. Parecía cada vez más privado de sueño y su desempeño en la escuela disminuyó,
Tomando esto en cuenta, la demanda alega que Character.AI y sus fundadores (Noam Shazeer y Daniel De Freitas) “diseñaron y programaron intencionalmente C.AI para que funcionara como un producto engañoso e hipersexualizado y lo comercializaron conscientemente para niños como Sewell”.
«Sabían, o en el ejercicio de un cuidado razonable deberían haber sabido, que los clientes menores como Sewell serían el objetivo de material sexualmente explícito, abusados y preparados para situaciones sexualmente comprometedoras”, reza el documento.
Le puede interesar: Inteligencia artificial: ¿destrucción o bendición para la humanidad? – Perspectivas
De acuerdo con Matthew Bergman, abogado de García, este caso evidencia el «increíble impacto que las redes sociales están teniendo en la salud mental de los jóvenes y, en muchos casos, en sus vidas, pensé que no me sorprendería».
“¿Por qué tardaron tanto y por qué tuvimos que presentar una demanda y por qué Sewell tuvo que morir para que ustedes hicieran realmente lo mínimo? Realmente estamos hablando de lo mínimo”, destacó.
Asimismo, acotó que se espera que la demanda suponga un incentivo financiero para que Character.AI desarrolle medidas de seguridad más sólidas y que, si bien sus últimos cambios son demasiado tarde para Setzer, incluso los “pequeños pasos” son pasos en la dirección correcta.
Tras lo ocurrido, Character.AI manifestó estar desconsolado «por al trágica pérdida de uno de nuestros usuarios y quiere expresar nuestras más profundas condolencias a la familia”, por lo que, implementarán nuevas medidas de seguridad donde el próximo semestre.
