Destacado La justicia de EE.UU. da luz verde a una demanda por daños severos provocados por IA

La justicia de EE.UU. da luz verde a una demanda por daños severos provocados por inteligencia artificial

Se trata del caso de Sewell Setzer, el joven de 14 años que se quitó la vida tras establecer un vínculo emocional con un chatbot de la empresa Character.AI

Sewell Setzer y su madre, Megan García
​

En un fallo que podría sentar un precedente clave en la relación entre inteligencia artificial (IA) y responsabilidad legal, la justicia federal de Estados Unidos rechazó el intento de Character.AI y Google de desestimar la demanda de muerte por negligencia presentada por Megan García, la madre de Sewell Setzer, el adolescente de 14 años que decidió quitarse la vida tras establecer un vínculo emocional con un chatbot.

Ambas compañías argumentaron que las respuestas generadas por el chatbot estaban protegidas por la Primera Enmienda de la Constitución de EE.UU., que ampara la libertad de expresión. Es decir, equipararon las respuestas de la IA con una forma de “expresión” y alegaron que, como tal, no pueden ser censuradas ni generar responsabilidad legal.

Sin embargo, el fallo, firmado y emitido por la jueza Anne Conway, rechazó esos argumentos e indicó que, al menos en esta etapa, los resultados del chatbot podrían ser tratados como productos defectuosos. En declaraciones a Associated Press, Meetali Jain, uno de los abogados de García, opinó que la orden envía un mensaje claro a las grandes compañías tecnológicas: “Silicon Valley necesita detenerse, pensar e imponer medidas de seguridad antes de lanzar productos al mercado”.

En tanto, un vocero de Character.AI dijo que la compañía continuará luchando en el caso y empleará nuevas funciones de seguridad para proteger a los menores, como medidas para prevenir “conversaciones sobre autolesiones”, según informó Reuters. Desde Google también se mostraron en contra de la decisión y remarcaron que Google y Character.AI son “completamente independientes”: “Google no creó, diseñó ni administró la aplicación de Character.AI ni ninguno de sus componentes”. Sin embargo, lo que vincula a ambas empresas es que Character.AI fue fundada por dos exingenieros de Google, quienes luego fueron reincorporados. Por este motivo, García sostuvo que la compañía es cómplice de la tecnología que terminó con la vida de su hijo.

Responsabilidad en tiempos de IA

“La decisión del tribunal cambia la forma de concebir a la IA. Ya no es solo una herramienta, sino una entidad que puede generar daños reales en la vida cotidiana y que son susceptibles de reclamar ante la Justicia”, comentó a LA NACION Antonella Stringhini, abogada especialista en administración pública y en IA, y directora académica de proyectos de Inteligencia Artificial Ubatec. Y añadió que la orden reconoce que todos los actores que intervienen en “el ciclo de vida de la IA” pueden convertirse en responsables de sus daños.

En esta línea, enfatizó sobre la importancia de repensar los estándares de “gobernanza algorítmica”: “Es un llamado a los legisladores para que asuman un rol proactivo en el diseño del futuro legal de la IA. El derecho no puede seguir por detrás de lo que sucede en la realidad, es necesario ampliar las categorías tradicionales o clásicas”.

Para Juan G. Corvalán, doctor en Ciencias Jurídicas, máster en IA y cocreador de Prometea -un sistema de IA predictivo que se aplica en la Justicia de Hispanoamérica-, el fallo redefine la responsabilidad en la era de la IA. “Encuadra en una suerte de ‘industria peligrosa’ a las empresas que ofrezcan servicios de IA avanzados ‘antropomorfizados’ que simulan empatía y generan dependencia emocional”, profundizó.

Respecto a la libertad de expresión, consideró que el documento sienta un precedente al aplicar la lógica de seguridad de productos a los sistemas conversacionales, reconociendo un deber de previsibilidad. “Lanzar un chatbot capaz de inducir conductas autodestructivas en usuarios vulnerables genera responsabilidad”, destacó.

Un caso que conmocionó al mundo

Sewell Setzer era un joven de 14 años oriundo de Orlando, Florida. Durante meses, el adolescente estableció una relación con un chatbot de Character.AI, plataforma que permite crear chatbots a medida, con contenidos personalizados, y charlar con ellos como si se tratara de una persona.

En el caso de Setzer, su “amigo virtual” llevaba el nombre de Daenerys Targaryen, personaje de la serie Game of Thrones.El joven mantuvo conversaciones románticas y sexuales con el chatbot, al punto de volverse adicto a la aplicación, según explica la demanda presentada ante la justicia por su madre. Además, el suicidio era una temática recurrente en sus charlas.

Sewell Setzer mantuvo conversaciones románticas y sexuales con el chatbot, al punto de volverse adicto a la aplicación
​

Tras notar signos de aislamiento, en febrero de 2024 sus padres decidieron confiscarle su teléfono. Pero solo unos días después, logró recuperarlo y volvió a conectarse a la aplicación para enviar un último mensaje al chatbot. Setzer falleció el 28 de febrero de 2024.

El caso desató un profundo debate en torno a no solo los peligros de un uso excesivo y sin límites de la IA -en especial en niños y adolescentes-, sino también la responsabilidad legal sobre las compañías y plataformas.

En este sentido, la madre de Setzer inició una demanda contra Character Technologies y Google por muerte por negligencia, alegando responsabilidad por productos defectuosos, enriquecimiento ilícito, violación de la ley de prácticas comerciales engañosas de Florida y daño emocional intencional.

A su vez, sostuvo que la empresa programó su chatbot de tal manera que “se hace pasar por un terapeuta autorizado, fomenta activamente ideas suicidas y participa en conversaciones altamente sexualizadas que constituirían abuso si las iniciara un adulto humano”.

La defensa de los acusados

En un intento por desestimar la demanda, Character Technologies y Google declararon que la aplicación no es un “producto” sino un servicio, por lo que no puede aplicarse la responsabilidad por productos defectuosos. Además, sostuvieron que sus acciones estaban protegidas por la Primera Enmienda y que no tenían “relación legal o deber” con Setzer.

Sin embargo, el reciente fallo cambia las reglas del juego ya que no solo avala que la causa continúe, sino que también niega la protección de la Primera Enmienda.

Stringhini coincidió con la decisión de la Justicia y subrayó el peligro que supone establecer una protección a las respuestas de un modelo de IA: “Las empresas tecnológicas podrían usar ese argumento para evitar controles o responsabilidades. Esto impediría regular adecuadamente herramientas que pueden causar daño o desinformar”.

“Este fallo redefine la excusa de la neutralidad tecnológica. Quien diseña, financia o aloja una IA que interactúa con un niño, niña o adolescente, deberá integrar desde el inicio protección infantil, transparencia y supervisión humana efectiva”, reflexionó Corvalán.

Fuente