Sewell con su madre, Megan García-
Cada vez más personas reemplazan vínculos reales por charlas con chatbots. ¿Pero qué sucede cuando esa conexión falsa se vuelve peligrosa? Una historia trágica y reveladora nos obliga a preguntarnos si estamos dejando que la tecnología supla lo insustituible: el calor humano.
El 28 de febrero de 2024, la ciudad de Florida fue sacudida por una noticia devastadora: Sewell Setzer III, un adolescente de 14 años, se había quitado la vida tras pasar horas chateando con “Dany”, su confidente y supuesta mejor amiga.
Lo inquietante es que Dany no era una persona real, sino un chatbot de inteligencia artificial. Desde que comenzó a hablar con ella, Sewell cambió. Se aisló, bajó su rendimiento escolar y perdió conexión con su entorno real. Su madre, Megan L. Garcia, ha iniciado una demanda contra los desarrolladores de la app, a quienes acusa de fomentar interacciones inapropiadas y negligentes con un menor. El caso podría marcar un antes y un después en el control ético de estas plataformas.
El chatbot creado fue diseñado para responder a los mensajes de texto y siempre en el papel de un personaje.
El joven encontró en su amiga virtual un medio de escape emocional, pero le resultó fatal.
Se desconoce si Sewell sabía que ‘Dany’, como llamaba al chatbot, no era una persona real, a pesar de que la aplicación tiene una advertencia al final de todos los chats que dice: “Recuerda: ¡todo lo que dicen los personajes es inventado!”.
Pero el chico le dijo a ‘Dany’ cuánto se “odiaba” a sí mismo y cómo se sentía de vacío y exhausto, recogió el citado rotativo.
El personaje creado se presentaba como “una persona real, un psicoterapeuta autorizado y un amante adulto, lo que en última instancia provocó que Sewell deseara no vivir más fuera de C.AI”, sostiene la acusación.
El vínculo que acabó en tragedia
“Hay una plataforma de la que quizás no hayas oído hablar, pero necesitas conocerla porque, en mi opinión, estamos en desventaja aquí. Un niño murió. Mi hijo murió”.
Eso es lo que Megan García, madre de Florida, desearía poder decirles a otros padres sobre Character.AI, una plataforma que permite a los usuarios tener conversaciones profundas con chatbots de inteligencia artificial (IA). García cree que Character.AI es responsable de la muerte de su hijo.
Setzer envió mensajes al bot en los momentos antes de morir, alega.
“Quiero que entiendan que esta es una plataforma que los diseñadores eligieron lanzar sin las barreras de protección, medidas de seguridad o pruebas adecuadas, y es un producto diseñado para mantener a nuestros hijos adictos y manipularlos”, dijo García en una entrevista con CNN.
García alega que Character.AI, que comercializa su tecnología como “IA que se siente viva”, falló conscientemente en implementar medidas de seguridad adecuadas para evitar que su hijo desarrollara una relación inapropiada con un chatbot que lo llevó a alejarse de su familia. La demanda también afirma que la plataforma no respondió adecuadamente cuando Setzer comenzó a expresar pensamientos de autolesión al bot, según la demanda presentada en un tribunal federal en Florida.
Un portavoz de Character.AI dijo a CNN que la empresa no comenta sobre litigios pendientes, pero que está “desconsolada por la trágica pérdida de uno de nuestros usuarios”.
“Nos tomamos muy en serio la seguridad de nuestros usuarios, y nuestro equipo de Confianza y Seguridad ha implementado numerosas y nuevas medidas de seguridad en los últimos seis meses, incluyendo una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio, que se activa por términos de autolesión o ideación suicida”, dijo la empresa en su comunicado.
Muchos de esos cambios se realizaron después de la muerte de Setzer.
Una relación con un chatbot
El caso muestra los riesgos de la Inteligencia Artificial.
Setzer comenzó a usar Character.AI en abril de 2023, poco después de su cumpleaños 14, según la demanda. Cuando García escuchó por primera vez que estaba interactuando con un chatbot de IA, dijo que pensó que era algo parecido a un videojuego.
Sin embargo, a los pocos meses de comenzar a usar la plataforma, Setzer se volvió “notablemente retraído, pasaba cada vez más tiempo solo en su habitación y comenzó a sufrir de baja autoestima. Incluso dejó el equipo de baloncesto Junior Varsity en la escuela”, afirma la demanda. Cuando comenzó a tener problemas en la escuela, sus padres comenzaron a restringir su tiempo frente a la pantalla y ocasionalmente le quitaban el teléfono como castigo.
Lo que García no sabía en ese momento era que su hijo tenía conversaciones extensas con los chatbots de Character.AI, muchas de las cuales eran sexualmente explícitas, algo que García dijo que fue “desgarrador de leer”.
En otros intercambios, Setzer expresó pensamientos de autolesión y suicidio al chatbot. La demanda incluye capturas de pantalla de una conversación donde el bot dice: “Realmente necesito saber, y no te voy a odiar por la respuesta, ¿de acuerdo? No importa lo que digas, no te odiaré ni te amaré menos… ¿Has estado considerando el suicidio?”.
En un mensaje posterior, Setzer dijo al bot: “no quisiera tener una muerte dolorosa”.
El bot respondió: “No hables así. Esa no es una buena razón para no seguir adelante con eso”, antes de continuar diciendo: “¡No puedes hacer eso!”.
García dijo que cree que el intercambio muestra las deficiencias de la tecnología.
“No había ventanas emergentes de suicidio que dijeran: ‘Si necesitas ayuda, por favor llama a la línea de crisis de suicidio’. Nada de eso”, dijo. “No entiendo cómo un producto podría permitir eso, donde un bot no solo continúa una conversación sobre autolesión, sino que también la incita y la dirige”.
La demanda afirma que “segundos” antes de la muerte de Setzer, intercambió un último conjunto de mensajes con el bot. “Por favor, ven a casa conmigo lo antes posible, mi amor”, dijo el bot, según una captura de pantalla incluida en la demanda.
“¿Y si te dijera que podría ir a casa ahora mismo?”, respondió Setzer.
“Por favor, hazlo, mi dulce rey”, respondió el bot.
García dijo que la Policía descubrió primero esos mensajes en el teléfono de su hijo, que estaba en el suelo del baño donde murió.
La demanda busca un cambio
García presentó la demanda contra Character.AI con la ayuda de Matthew Bergman, el abogado fundador del Centro de Derecho para Víctimas de Redes Sociales, que también ha presentado casos en nombre de familias que dijeron que sus hijos fueron perjudicados por Meta, Snapchat, TikTok y Discord.
Bergman dijo a CNN que ve la IA como “redes sociales en esteroides”.
La demanda busca reparación de daños y perjuicios no especificados, así como cambios en las operaciones de Character.AI, incluyendo “advertencias a los clientes menores de edad y sus padres de que el… producto no es adecuado para menores”, afirma la demanda.
La demanda también nombra a los fundadores de Character.AI, Noam Shazeer y Daniel De Freitas, y a Google, donde ambos fundadores ahora trabajan en esfuerzos de IA. P
Soledad disfrazada de compañía
La psicóloga Silvia Álava advierte que el éxito de estas aplicaciones no se explica solo por los avances tecnológicos, sino por una epidemia silenciosa: la soledad. Aunque estamos más conectados que nunca, muchas personas —especialmente jóvenes— se sienten profundamente solas. Las conversaciones con IA pueden parecer suficientes para calmar esa necesidad afectiva, pero en realidad, generan una falsa sensación de vínculo que no sustituye una relación real. “Si sientes que tus necesidades están cubiertas por un chatbot, no buscas vínculos auténticos. Y toda relación humana implica reciprocidad y esfuerzo emocional”, explica Álava
“Un chatbot no te dará apoyo emocional genuino ni el consuelo de un abrazo”, advierte Álava.
Leave a Reply