Cuidado con el “síndrome de muerte por GPT”

Esta semana, un veterano abogado neoyorquino con 30 años de experiencia enfrentará una audiencia disciplinaria por un nuevo tipo de falta: incluir contenido falso generado por inteligencia artificial (IA) en un informe legal.

Steven Schwartz, del bufete Levidow, Levidow & Oberman, había presentado un documento de 10 páginas ante una corte de Nueva York como parte de una demanda por lesiones personales contra la compañía aérea Avianca. El problema fue que, como descubrió el juez al leerlo más detenidamente, el documento contenía decisiones judiciales y citas totalmente ficticias que el modelo de IA generativa ChatGPT había “alucinado”.

En una declaración jurada, Schwartz, mortificado, admitió que había utilizado el chatbot de OpenAI para ayudarse a investigar el caso. El modelo generativo de IA incluso le había asegurado que los precedentes jurídicos que citaba eran reales. Pero ChatGPT había demostrado ser una fuente poco fiable. Lamentando enormemente su excesiva confianza en el contenido generado por computadora, añadió que no volvería a utilizarlo “sin una verificación absoluta de su autenticidad”. Uno solo espera que todos podamos sacar provecho de su “experiencia de aprendizaje”, como los profesores actualmente llaman a los errores.

Como muchos millones de personas han descubierto, ChatGPT puede crear contenido extremadamente convincente, pero muy falible. Cuando las compañías de IA generativa pregonan que sus modelos son capaces de aprobar exámenes jurídicos y médicos, no es descabellado que los usuarios crean que son más inteligentes que ellos.

Sin embargo, según las respetuosas palabras de la lingüista computacional Emily Bender, estos modelos no son más que “loros estocásticos”, máquinas imitadoras diseñadas para producir la respuesta estadísticamente más probable -no la más exacta- sin ningún concepto de significado. O, según las palabras menos respetuosas de un ejecutivo del sector de la tecnología, son generadores de mierda de primera clase, como Schwartz ha descubierto, muy a su pesar.

Confianza en la tecnología

Nuestra fe ingenua en la tecnología tiene una larga historia. Tenemos tendencia a confiar demasiado en las computadoras, a veces con resultados fatales, como es el caso del documentado “síndrome de muerte por GPS”. Ignorando la evidencia de sus propios ojos, algunos conductores de automóviles han seguido ciegamente sistemas de navegación GPS erróneos, a veces con resultados no deseados o negativos, incluyendo la entrada en rampas de salida de autopistas. Un trabajo de investigación de 2017 identificó 158 incidentes catastróficos relacionados con dispositivos GPS, que provocaron 52 muertes.

Si no tenemos cuidado, los futuros investigadores podrían escribir algún día artículos sobre el “síndrome de muerte por GPT”. ¿Hasta qué punto los usuarios, y el personal de atención sanitaria, confiarán insensatamente en un chatbot para recibir consejos médicos, por ejemplo?

En el sitio web de OpenAI se les ha advertido a los usuarios que ChatGPT puede producir información incorrecta o engañosa y que su propósito no es dar consejos. Pero la Organización Mundial de la Salud (OMS) ya ha advertido sobre los errores que puede causar la adopción precipitada de sistemas de IA generativa no probados, aunque sigue entusiasmada con el potencial a largo plazo de esta tecnología para mejorar la atención sanitaria.

A pesar de sus alarmantes errores tecnológicos, está claro que los modelos generativos de IA tendrán un enorme impacto en las profesiones jurídicas y sanitarias, y en muchas otras. Están proliferando modelos más pequeños, específicos de cada ámbito y de código abierto, que amenazan con automatizar gran parte del trabajo rutinario del conocimiento.

Procesadores de texto

La startup Scissero, fundada por Mathias Strasser, exabogado del bufete estadounidense Sullivan & Cromwell, ha lanzado un chatbot llamado Mike, que ha sido entrenado en escenarios jurídicos reales para redactar correos electrónicos y anotar documentos jurídicos.

Strasser sostiene que la competencia básica de los abogados es leer, interpretar y escribir el lenguaje. Esa es también la competencia básica de los modelos generativos de IA. “El sector jurídico se basa en la palabra. Los abogados son procesadores de texto subcontratados”, me dice Strasser. “Con GPT, puedes invocar a todo un ejército de asistentes jurídicos”.

Pero del mismo modo que los abogados experimentados siempre deben responsabilizarse de los informes redactados a las tres de la madrugada por sus asistentes humanos con exceso de cafeína, también deben examinar con ojo crítico los resultados de los modelos generativos de IA y ser conscientes de sus defectos. Las cosas pueden salir mal, y de hecho salen mal. Solo pregúntenle al desdichado Schwartz.