Alucinação

A palavra desta semana é alucinação.

Ela aparece em reunião de fornecedor, em matéria de jornal e na boca de quem quer parecer atualizado. Quase ninguém a define. E ela é, de todo esse vocabulário novo, a que tem consequência mais direta sobre uma decisão sua.

O que ela quer dizer, em português

Um sistema de inteligência artificial que gera texto não consulta uma base de fatos para responder. Ele prevê qual palavra vem depois, a partir de regularidades que aprendeu em muitos textos. Quando essa previsão produz uma frase verdadeira, chamamos de resposta. Quando produz uma frase falsa com a mesma fluência e a mesma segurança, chamamos de alucinação.

O ponto que costuma passar batido é este: para a máquina, os dois casos são idênticos. Ela não tem um mecanismo interno que sinalize “aqui eu sei” e “aqui eu inventei”. A confiança do texto é a mesma. O tom é o mesmo. A formatação é a mesma.

É por isso que a alucinação é perigosa de um jeito específico. Ela não vem com aparência de erro. Vem com aparência de trabalho pronto.

A decisão que isso já está afetando na sua empresa

Provavelmente alguém na sua organização já usou uma dessas ferramentas para preparar um material que chegou até você. Um resumo de contrato. Uma pesquisa de mercado. Uma minuta. Um cálculo.

A pergunta relevante não é se está sendo usado. É se existe um passo de conferência entre o que a máquina produziu e o que chegou à sua mesa.

Já vimos material chegar bonito, sem etiqueta e sem fonte, e ninguém perguntar a origem até o dia em que a pergunta chegou tarde demais.

Onde isso cai nas quatro zonas

Na edição de estreia desta coluna, separamos o trabalho em quatro zonas de delegação: verde, rascunho, assinatura e indelegável. A alucinação mora na fronteira entre a segunda e a terceira.

Zona de rascunho — a máquina produz, um humano confere antes de qualquer uso. Resumo, primeira versão, estrutura de documento, lista de hipóteses. Aqui a alucinação é barata, porque alguém pega.

Zona de assinatura — o que sai com o nome da empresa ou com valor contratual. Número que vai ao conselho, cláusula que vai ao contrato, dado que vai ao cliente. Aqui a alucinação é cara, porque o que fica registrado é a assinatura embaixo do erro.

A regra prática cabe numa linha:

A máquina pode escrever qualquer coisa que um humano vá conferir. Não pode escrever nada que um humano vá apenas assinar.

A pergunta para levar à próxima reunião

Uma só, e pode ser dita exatamente assim: “Deste material, o que foi produzido com IA — e quem conferiu?”