Redacción/Tomado de pbs.org
Los padres de un adolescente que se suicidó presentaron una demanda por homicidio culposo contra OpenAI, propietaria de ChatGPT. Afirman que el chatbot discutió con él sobre maneras de quitarse la vida tras expresar pensamientos suicidas. La demanda surge en medio de informes de personas que desarrollan pensamientos distorsionados tras interactuar con chatbots de IA, un fenómeno denominado "psicosis de IA". John Yang habla con el Dr. Joseph Pierre para obtener más información.
Leer la transcripción completa
Aviso: Las transcripciones son generadas por máquinas y humanos, y han sido ligeramente editadas para mayor precisión. Pueden contener errores.
John Yang:
Antes que nada, debemos advertirles que esta historia trata sobre el suicidio. La semana pasada, los padres de un joven de 16 años que se quitó la vida presentaron una demanda por homicidio culposo contra OpenAI, propietaria de ChatGPT. Afirman que, después de que su hijo expresara pensamientos suicidas, ChatGPT comenzó a discutir maneras de quitarse la vida.
La demanda es una de las primeras de su tipo, pero ha habido varios informes sobre personas que desarrollan pensamientos distorsionados o creencias delirantes a raíz de interacciones con chatbots de IA. Las repercusiones pueden ser graves, provocando que algunos usuarios experimenten un aumento de la ansiedad y, en casos extremos, se hagan daño a sí mismos o a otros.
Se le ha denominado psicosis de IA. El Dr. Joseph Pierre es profesor clínico de psiquiatría en la Universidad de California, San Francisco. Dr. Pierre, este no es un diagnóstico oficial todavía. No figura en ningún manual de diagnóstico. ¿Cómo define la psicosis de IA?
Dr. Joseph Pierre, Profesor Clínico de Psiquiatría:
Bueno, psicosis es un término que, a grandes rasgos, significa que alguien ha perdido el contacto con la realidad. Y los ejemplos habituales que encontramos en los trastornos psiquiátricos son alucinaciones, en las que vemos u oímos cosas que no existen realmente, o delirios, que son creencias falsas fijas, como, por ejemplo, pensar que la CIA me persigue.
Y, principalmente, lo que hemos visto en el contexto de las interacciones con IA es, en realidad, pensamiento delirante. Se trata de delirios que se producen en este contexto de interacción con chatbots de IA.
John Yang:
¿Son algunas personas más susceptibles a esto que otras?
Joseph Pierre:
Bueno, esa es la pregunta del millón. Distingo entre psicosis asociada a IA, lo que significa que observamos síntomas psicóticos en el contexto del uso de IA. Pero también hablo de psicosis exacerbada por IA o psicosis inducida por IA.
Entonces, la verdadera pregunta es: ¿esto ocurre en personas con algún tipo de trastorno mental o problema de salud mental preexistente y la interacción con IA simplemente lo está alimentando o empeorando? ¿O realmente está creando psicosis en personas sin antecedentes significativos?
Y creo que hay evidencia que respalda que ambas situaciones ocurren. Probablemente sea mucho más común que se trate de un efecto de empeoramiento o exacerbación.
John Yang:
Cuéntenos un poco sobre lo que observa en su práctica. ¿Ves a gente hablando de esto?
Joseph Pierre:
He visto algunos casos. Trabajo principalmente en un hospital. Así que los pacientes que he visto son pacientes ingresados y, como mencioné antes, algunos tienen enfermedades mentales evidentes y de larga duración, cuyos síntomas han empeorado en el contexto del uso de IA. He visto algunos casos de personas sin problemas de salud mental importantes antes de ser hospitalizadas.
John Yang:
También quiero hablar sobre esa segunda categoría. ¿Qué tan común es que las personas sin problemas psicológicos o mentales se vean atrapadas en chatbots?
Joseph Pierre:
Creo que es bastante raro. Si piensas en cuántas personas usan chatbots, claro que es una cantidad enorme. Y solo hemos visto un pequeño número de casos reportados en los medios. Quienes trabajamos en la práctica clínica estamos empezando a notarlo cada vez más.
Así que no creo que sea un gran riesgo en términos de la cantidad de personas. Normalmente, esto ocurre en personas que usan chatbots durante horas y horas, a menudo excluyendo la interacción humana, a menudo excluyendo el sueño o incluso la alimentación. Así que realmente creo que estamos observando un efecto dosis.
John Yang:
Nos pusimos en contacto con ChatGPT y esto es parte de lo que nos dijeron. Indicaron que ChatGPT incluye medidas de seguridad, como dirigir a las personas a líneas de ayuda en situaciones de crisis y derivarlas a recursos del mundo real. Si bien estas medidas de seguridad funcionan mejor en intercambios breves y comunes, con el tiempo hemos aprendido que a veces pueden volverse menos fiables en interacciones largas, donde parte del entrenamiento de seguridad del modelo puede deteriorarse.
¿Cuánta responsabilidad cree usted que recae en las empresas de IA? ¿Están haciendo lo suficiente?
Joseph Pierre:
Bueno, lo considero una especie de responsabilidad compartida. Al igual que con cualquier producto de consumo, creo que el fabricante y nosotros, como consumidores, tenemos una responsabilidad con respecto a cómo utilizamos estos productos.
Así que, sin duda, creo que esto es un nuevo fenómeno que merece atención y que las empresas deberían considerar cómo crear un producto más seguro o, quizás, incluir etiquetas de advertencia sobre posibles usos inapropiados.
Desafortunadamente, vimos evidencia de que OpenAI estaba haciendo eso, intentando crear una nueva versión de su chatbot que pudiera conllevar menos riesgo. Y lo que vimos fue la reacción de los consumidores. A los consumidores no les gustó el nuevo producto porque era menos adulador, menos agradable, no validaba tanto a las personas. Pero esa misma cualidad es, creo, desafortunadamente, lo que pone en riesgo a algunas personas.
John Yang:
¿Qué consejo les da a quienes usan estos chatbots, a quienes interactúan con ellos, para evitar esto?
Joseph Pierre:
Bueno, lo que he notado es que hay dos factores de riesgo, llamémoslos, que he visto de forma bastante consistente en todos los casos. Uno de los factores que mencioné antes es el efecto de la dosis, es decir, la cantidad que se usa. A esto lo llamo inmersión. Si usas algo durante horas y horas, probablemente no sea una buena señal.
El otro es algo que llamo deificación, un término elegante que significa que algunas personas que interactúan con estos chatbots llegan a verlos como inteligencias sobrehumanas o entidades casi divinas, ultraconfiables. Y eso simplemente no es lo que son los chatbots. Están diseñados para replicar la acción humana, pero en realidad no están diseñados para ser precisos.
Y creo que es muy importante que los consumidores entiendan que ese es un riesgo de estos productos. No son fuentes de información ultraconfiables. No están diseñados para serlo.
John Yang:
Dr. Joseph Pierre de la Universidad de California en San Francisco, muchas gracias.
Joseph Pierre:
Gracias.
elinformante
No hay comentarios:
Publicar un comentario