Enfrentado a un examen de selección múltiple con cuatro opciones, el estudiante que responde al azar tiene 25% de probabilidad de acertar. No responder garantiza el cero. Con un ejemplo similar, un equipo de investigadores de OpenAI y Georgia Tech, encabezado por Adam Kalai, explica en un artículo publicado en abril de este año en Nature por qué un modelo de lenguaje contesta aunque no sepa. Y ahí reside buena parte de las llamadas alucinaciones de la inteligencia artificial.
Estos modelos de IA, vale aclarar, no consultan una enciclopedia interior en busca de una respuesta. Generan texto a partir de patrones estadísticos aprendidos y, durante su entrenamiento y evaluación, las métricas de exactitud que deciden cuál modelo es mejor puntúan el acierto y muchas de ellas no distinguen entre el error y el “no sé”: ambos quedan en cero. Así, ante una pregunta difícil, adivinar conserva alguna posibilidad de acertar. No responder, ninguna.
Aunque algunas de las empresas que desarrollan IA reportan una disminución de las alucinaciones referidas a datos falsos, persiste un problema más sutil: la IA puede encontrar información verdadera y seleccionar unos datos, omitir otros o relacionarlos de determinada manera. El dato puede ser cierto y la referencia existir. La cita puede ser, de hecho, auténtica, pero el mensaje se construye a partir de una interpretación equivocada.
En Royal Society Open Science, Uwe Peters y Benjamin Chin-Yee publicaron un estudio en el que cotejaron 4.900 resúmenes generados por diez sistemas con los textos originales. En seis de los diez, la conclusión resultó más amplia que la del texto. Por ejemplo, donde el autor decía cuántos, la máquina decía todos.
Ese tipo de distorsión produce respuestas plausibles, un adjetivo que en inglés significa creíble, razonable o verosímil: aquello que parece lógico o probable, aunque no esté completamente demostrado. Es el traje que viste lo generado por IA: bien escrito, ordenado, documentado, convincente. De gala, incluso.
Esto importa especialmente cuando se usa la IA para diseñar mensajes. Comunicar no consiste en acumular datos verdaderos. También implica seleccionar, jerarquizar, relacionar, encuadrar e interpretar. La verdad aislada de los fragmentos no garantiza la verdad de la representación construida con ellos. No basta con preguntar si la IA dice la verdad; también hay que preguntar qué hace con ella.
La verificación del clic ya no basta: comprobar un dato es un procedimiento, pero juzgar una interpretación exige saber qué se dejó de contar, qué se exageró o qué se redujo en pro de una conclusión conveniente.
Sucede como con el estudiante que responde al azar el examen y a veces acierta: que parezca que sabe no significa que realmente sepa.