Chatbot con IA que inventa respuestas: por qué pasa y cómo evitarlo

Un chatbot con IA que inventa respuestas es el miedo que frena a más de un negocio antes de activar uno: ¿y si le dice al cliente un precio que no es, un plazo que no existe o una política que la tienda nunca aprobó?

El miedo tiene fundamento. Los modelos de lenguaje no comprueban lo que dicen: generan la secuencia de palabras más probable según lo que han visto, y eso a veces produce una respuesta segura y completamente incorrecta.

La buena noticia es que ese fallo, conocido como alucinación, no es aleatorio ni imposible de controlar: tiene causas conocidas y formas de mitigarlo que marcan la diferencia entre un chatbot fiable y uno que da miedo soltar en la web.

Chatbot con IA que inventa respuestas: qué es una alucinación

Una alucinación es la respuesta que un chatbot con IA da con total seguridad aunque sea falsa, porque el modelo no distingue entre un dato real y uno plausible: genera texto probable, no texto verificado. Ocurre más cuando la pregunta cae fuera de lo que el chatbot tiene realmente cargado, y menos cuando responde apoyado en datos concretos del negocio.

Por qué ocurre, según quien lleva años documentándolo

Simon Willison lleva años documentando en su blog casos reales de alucinación y resume la causa con una idea incómoda: para un modelo de lenguaje, inventar no es una excepción, es el mecanismo por defecto; lo raro es que acierte tantas veces.

Entre los casos que recoge están los cientos de sentencias inventadas que abogados han presentado ante tribunales creyendo que existían, y clientes que confiaron en un número de soporte falso porque un chatbot lo dio por bueno. La lección que repite en todos los casos: la responsabilidad de comprobar sigue siendo humana, tenga o no ayuda de IA.

Lo que de verdad reduce el riesgo: no adivinar, consultar

La mitigación con más consenso en el sector, incluida la que refleja el propio blog de ingeniería de Anthropic al diseñar agentes, es apoyar cada respuesta en datos reales del negocio en el momento de responder, en vez de dejar que el modelo tire de lo que recuerda de su entrenamiento.

Esa técnica —conocida como RAG, o generación aumentada con recuperación— es la diferencia entre un chatbot que dice el stock que cree recordar y uno que consulta el stock real antes de contestar. La segunda opción tarda lo mismo y no se equivoca por inventar.

Lo que vemos cuando el agente no sabe algo: nuestra experiencia

En Paideia diseñamos los agentes para que respondan solo con datos conectados al negocio —catálogo, pedidos, calendario— y para que reconozcan cuando algo se sale de ahí; en nuestra operación, esa combinación es lo que más reduce las respuestas inventadas, no ninguna promesa de que el modelo "nunca se equivoca".

Cuando el agente no tiene el dato, la alternativa que mejor funciona no es intentarlo de todas formas: es decir que no lo sabe y pasar la conversación con el contexto ya recogido, para que la persona no tenga que empezar de cero.

Qué hacer esta semana

Pide a tu proveedor una demostración concreta: una pregunta fuera de lo que el chatbot tiene cargado, y mira qué responde. Si inventa algo plausible en vez de reconocer el límite, ese es el problema real, no una excepción rara.

Conviene tener claro además las cinco señales que dicen que toca pasar la conversación a una persona, sin que el cliente lo note como un fallo: es la salida que evita que una duda sin resolver se convierta en una respuesta inventada.

Y si todavía dudas entre un bot de reglas y uno con IA, esta comparación explica por qué un bot de reglas nunca alucina, y qué pierde a cambio de esa seguridad.

Fuentes: casos reales de alucinación documentados en el blog de Simon Willison (simonwillison.net), y enfoque de diseño de agentes apoyados en datos reales en vez de memoria del modelo según el blog de ingeniería de Anthropic (anthropic.com/engineering). El criterio sobre cuándo derivar en vez de forzar una respuesta procede del diseño de los agentes de Paideia.