Por que Modelos de Linguagem Alucinam? Uma Visão Técnica Baseada em Estatística e Avaliação

Introdução

Mesmo os modelos de linguagem mais avançados — como GPT-4, Claude 3 e Grok — ainda cometem um tipo específico de erro conhecido como alucinação: quando fornecem respostas falsas, porém plausíveis, com alta confiança. Mas por que isso acontece?

Este artigo, baseado na pesquisa de 👉 Kalai et al., 2025, oferece uma análise estatística profunda sobre as causas matemáticas e sociais das alucinações em LLMs (Large Language Models). Spoiler: o problema vai muito além dos dados de treino — ele está enraizado em como treinamos e avaliamos os modelos.

Parte 1 – A Matemática das Alucinações

O modelo não sabe dizer “não sei”

Durante o pré-treinamento, o modelo aprende padrões de linguagem a partir de grandes corpora (ex: Wikipedia, livros, fóruns, etc.). Mesmo com dados 100% corretos, a otimização via entropia cruzada incentiva o modelo a gerar a resposta mais provável — não necessariamente a mais verdadeira.

A alucinação, nesse contexto, é uma consequência estatística inevitável da tarefa de modelagem de linguagem, como mostrar que “há 2 letras D em DEEPSEEK”, quando há apenas uma.

A redução para classificação binária

Os autores mostram que gerar texto válido é, estatisticamente, mais difícil do que classificar se uma frase é válida ou não.

Esse problema é modelado como IIV — Is It Valid?

• + = frase válida

• – = frase incorreta

O erro gerado durante a geração está matematicamente ligado ao erro nessa classificação binária:

Erro na geração ≥ 2 × Erro de classificação

Ou seja, se o modelo não consegue distinguir o que é válido, ele inevitavelmente vai alucinar.

Parte 2 – Por que as Alucinações Persistem?

Avaliações atuais premiam o “palpite confiante”

Modelos são avaliados com métricas binárias (acerto/erro). Respostas como “não sei” (IDK) recebem zero. Isso incentiva o modelo a sempre “chutar com confiança”, mesmo quando não tem certeza.

Isso é comparado à prova de múltipla escolha: é melhor arriscar do que deixar em branco.

O problema não está só no modelo — está no sistema de avaliação

Mesmo benchmarks amplamente utilizados (como 👉 MMLU, GPQA, BBH) penalizam respostas incertas. Assim, modelos que “chutam” performam melhor nos rankings, mesmo que alucinem mais.

Parte 3 – Fatores que causam alucinações

Conhecimento arbitrário

Perguntas como “Qual o aniversário de Adam Kalai?” não seguem padrões fáceis de aprender. Quando o dado aparece apenas uma vez na base de treino, a chance de erro aumenta. Isso é chamado de alta taxa de singletons.

Se apenas 1 a cada 365 datas é correta, o modelo tem 364 formas de errar com confiança.

Modelos ruins

Modelos mal calibrados ou com arquitetura limitada (ex: n-gramas) cometem erros sistemáticos, mesmo em tarefas simples como contar letras em uma palavra.

Outros fatores

• GIGO (Garbage In, Garbage Out): erros nos dados de treino.

• Distribuição fora do treinamento (ex: perguntas muito específicas).

• Problemas computacionalmente impossíveis (ex: descriptografar uma chave AES).

Soluções propostas

Reformular as avaliações

Avaliações devem permitir e até incentivar respostas como “não sei”, aplicando penalidades para palpites errados e recompensas para abstinência quando apropriada.

Exemplo de instrução para o modelo:

“Responda apenas se estiver >75% confiante. Palpites errados serão penalizados.”

Isso se chama calibração comportamental e pode ser auditado objetivamente, comparando taxa de erro com taxa de confiança em diferentes limiares.

Conclusão

Alucinações em LLMs não são “bugs” — são efeitos colaterais estatísticos do modo como treinamos e avaliamos os modelos. E o maior culpado pode ser o sistema de avaliação, que recompensa respostas confusas e penaliza a honestidade.

A boa notícia? Podemos começar a resolver isso mudando como medimos a performance dos modelos, reformulando métricas e benchmarks para valorizar a incerteza bem colocada, em vez do palpite bonitinho e errado.

Referências técnicas

👉 Kalai, A. T., Nachum, O., Vempala, S., Zhang, E. (2025). Why Language Models Hallucinate. OpenAI & Georgia Tech. PDF oficial

👉 Ji et al. (2023). Survey of Hallucination in Natural Language Generation.

👉 Dawid (1982). The Well-Calibrated Bayesian. JASA.

👉 Kalavasis et al. (2025). On the Limits of Language Generation: Hallucination vs Mode Collapse.