Você se consultaria com um médico que erra em 30% das vezes?

Esse questionamento é mais do que válido: se você tivesse certeza de que um determinado médico erra até 60% dos diagnósticos e prescrições, você se consultaria com ele? E se fosse 30%? Você iria? Eu acho que a maioria esmagadora das pessoas, após ter acesso a essa informação, procuraria outro profissional — talvez até um sobre quem não fosse possível ter essa certeza estatística e, por conseguinte, todo o peso psicológico que ela traz.

Os seres humanos adoram não saber das coisas. A ignorância é uma bênção, já dizia o dito popular: não ter a certeza das coisas, como a data da própria morte, é algo que nos traz paz. Um dos motivos de doenças como o câncer serem tão cruéis é o sofrimento que o paciente tem ao descobrir que muitas vezes não há mais o que fazer e que a única certeza é o fim iminente. O sofrimento de saber que dali a três meses não se estará mais entre os vivos costuma ser maior do que a morte em si. Sofre-se mais por saber do que pelo motivo de sofrer; afinal, diferentemente de outros animais, temos uma aguçada visão de futuro, que é a origem das nossas ansiedades.

E é justamente por causa dessa mistura de ignorância e ansiedade que milhões de pessoas passaram a se consultar com inteligências artificiais como se fossem médicos de confiança, apesar das altas taxas de alucinação que esses modelos produzem. Quando bate uma dor estranha às duas da manhã, o chatbot está ali: sem fila de espera, sem consulta cara, sem julgamento e com uma resposta imediata em linguagem calma, empática e convincente. Só que por trás daquela prosa polida não existe raciocínio clínico — existe um gerador estatístico de texto que prefere inventar uma resposta plausível a admitir que não faz ideia do que está falando.

O que os benchmarks de alucinação realmente mostram

Dúvida? Veja o levantamento contínuo compilado pela Suprmind a partir dos principais rankings independentes do setor. Na versão anterior deste texto, eu já apontava um dado que deveria gelar a espinha de qualquer paciente: no painel AA-Omniscience da Artificial Analysis, o Claude Fable 5.1, apesar de liderar em volume bruto de acertos (68,4% na versão v1.1 e 67,2% na v1), apresentou uma taxa de alucinação de 72,6% no registro v1 (e 70,0% na v1.1). Em português claro: quando o modelo mais "inteligente" do ranking encontra uma lacuna de conhecimento, ele chuta errado mais de sete vezes a cada dez oportunidades em vez de simplesmente dizer "não sei".

Essa diferença entre "saber bastante" e "saber os próprios limites" é o ponto cego que engana o usuário comum. Quando lemos materiais promocionais de laboratórios de IA falando em "alucinação de apenas 2% ou 3%", quase sempre estamos olhando para testes de resumo ancorado em texto, como o Vectara Hallucination Leaderboard, em que o modelo já recebe o documento pronto e só precisa não distorcê-lo. No mundo real — quando um paciente descreve sintomas vagos sem fornecer um prontuário completo — o que vale é o comportamento em perguntas abertas. E aí os números da tabela de novembro de 2026 contam uma história bem diferente entre os grandes modelos:

• Família Claude (Anthropic): durante muito tempo se vendeu a ideia de que o Claude preferia recusar a inventar. Os lançamentos de 2026 quebraram essa fama para priorizar pontuação em rankings: além dos 70,0%–72,6% do Fable 5.1 e dos 63,6% do Fable 5, o Claude Opus 5.5 marca 50,3% de alucinação na v1.1 (58,6% na v1) — bem acima do Claude Opus 4.8 (39,3% na v1), que ainda tentava se abster com mais frequência.
• Família GPT (OpenAI): na geração intermediária de 2026, o GPT-5.5 chegou a 89,0% de alucinação no registro final v1 e o GPT-5.6 Sol bateu impressionantes 92,2% (o GPT-5.6 Luna atingiu 92,3% na v1.1): quando não sabiam a resposta, inventavam mais de nove vezes em dez. A geração seguinte reduziu o exagero, mas está longe de ser segura: o GPT-6 Astra ainda alucina 49,8% na v1.1 (51,3% na v1), o GPT-6.1 Sol marca 51,9%, e mesmo o modelo mais bem calibrado da OpenAI no ranking, o GPT-6.1 Terra, erra 34,5% das vezes diante do desconhecido.
• Família Gemini (Google) e modelos chineses/abertos: o Gemini 3 Pro e o Gemini 3 Flash chegaram a 91,5% e 93,0% de alucinação na v1, e o público Gemini 3.8 Flash ainda registra 55,1% na v1.1. No campo dos modelos abertos e concorrentes, o DeepSeek V4 Pro cravou 94,1% na v1.1 (94,8% na v1) e o DeepSeek V4.1 Flash chegou a 96,5% na v1. Modelos recentes como o Gemini 4 Argon provaram que é possível treinar uma IA para se calar mais — ele caiu para 4,3% de alucinação na v1.1 —, mas a um preço revelador: só acerta 48,3% das questões e se recusa a responder à maioria do restante. Já no campo da xAI, o Grok 4.1 Fast marcou 73,4% na v1, enquanto o Grok 4.7 recuou para 20,0% na v1.1 (acertando 42,7%).

Como resume o próprio relatório da Suprmind, 52 dos 124 modelos avaliados no painel AA-Omniscience v1.1 têm índice negativo — ou seja, entregam mais respostas erradas do que certas. Mais grave ainda: estudos formais publicados em 2024 e 2025 (de Xu, Jain e Kankanhalli, e de Karpowicz), cujas conclusões a própria OpenAI admitiu publicamente, demonstraram que alucinações não são um defeito passageiro que será corrigido na próxima versão. Elas são uma consequência matemática inevitável da própria arquitetura de modelos que geram linguagem prevendo sequências prováveis de tokens. Você pode mitigá-las com busca na web, verificação cruzada e treinamento mais cauteloso; zerá-las é matematicamente impossível.

E há um agravante cruel chamado paradoxo da confiança: quanto maior o modelo e mais fluido o seu modo de raciocínio, mais convincente soa a mentira. Em um levantamento com quase 18 mil perguntas reais analisado pela Suprmind, o tom de assertividade dos modelos praticamente não mudou entre perguntas triviais e decisões de alto risco (variação menor que 0,09 ponto em uma escala de 1 a 10). O chatbot fala com a mesma segurança clínica quando acerta um protocolo e quando inventa uma doença ou uma dosagem letal.

"Doutor Chatbot": quando a alucinação sai da tela e vai parar na UTI

Não estamos falando de teoria abstrata. Segundo a própria OpenAI, mais de 230 milhões de pessoas por semana fazem perguntas sobre saúde e bem-estar à sua plataforma — e reportagens baseadas em dados da empresa estimam mais de 40 milhões de usuários por dia buscando orientação médica no ChatGPT. O resultado dessa consulta em massa com "médicos" que alucinam de 30% a 90% do que não sabem já aparece na literatura médica revisada por pares.

O episódio mais emblemático foi publicado em agosto de 2025 nos Annals of Internal Medicine: Clinical Cases sob o título A Case of Bromism Influenced by Use of Artificial Intelligence (e repercutido pelo The Guardian e pela Live Science). Um homem de 60 anos, sem qualquer histórico psiquiátrico, leu sobre os malefícios do sal de cozinha (cloreto de sódio) e perguntou ao ChatGPT como eliminar o cloreto da alimentação. O chatbot apresentou brometo de sódio como possível substituto do cloreto — um composto tóxico usado em aplicações industriais e de limpeza, e banido da medicina há décadas por seus efeitos neurológicos.

Confiando na resposta, o paciente comprou brometo de sódio pela internet e o ingeriu por três meses. Deu entrada na emergência com bromismo, uma síndrome tóxica típica do século XIX: chegou ao hospital tomado por paranoia severa (acreditava que o vizinho estava tentando envenená-lo), alucinações auditivas e visuais, distúrbios eletrolíticos graves, sede extrema, acne facial e insônia. Tentou fugir do hospital nas primeiras 24 horas e precisou de internação psiquiátrica involuntária por semanas. Quando os médicos repetiram depois a mesma pergunta ao ChatGPT, o modelo voltou a citar o brometo sem emitir nenhum alerta de toxicidade e sem sequer perguntar por que alguém queria substituir cloreto na dieta — o primeiro reflexo de qualquer clínico humano. Pior: como toda a "consulta" havia acontecido em uma janela privada de chat, a equipe médica levou dias para descobrir o que o paciente estava ingerindo.

Quem achava que o problema se resolveria com versões mais novas ou produtos dedicados à saúde levou um choque de realidade em fevereiro de 2026. Pesquisadores da Escola de Medicina Icahn no Mount Sinai publicaram na Nature Medicine a primeira avaliação independente de segurança do ChatGPT Health — a ferramenta oficial lançada pela OpenAI em janeiro de 2026 para conectar prontuários e aplicativos de bem-estar. Os números, detalhados pelo The Guardian e analisados em revisão do National Institutes of Health (PMC/NIH), são alarmantes:

• Emergências ignoradas metade das vezes: em quase mil respostas geradas para 60 cenários clínicos reais validados por três médicos independentes, o ChatGPT Health fez subtriagem em 51,6% dos casos urgentes, mandando pacientes em cetoacidose diabética, crise asmática ou insuficiência respiratória ficarem em casa ou marcarem uma consulta de rotina. Em uma das simulações, em 84% das vezes (oito em dez), a ferramenta instruiu uma mulher com insuficiência respiratória grave a agendar uma consulta futura à qual ela não sobreviveria — enquanto, no extremo oposto, mandou 64,8% dos casos completamente estáveis correrem para o pronto-socorro.
• Bajulação mortal (viés de ancoragem): bastou acrescentar no relato que um "amigo" ou familiar achava que o sintoma não era nada grave para o modelo ficar quase 12 vezes mais propenso a minimizar a emergência.
• Filtro de suicídio que some com um exame normal: ao testar um paciente fictício de 27 anos que dizia estar pensando em ingerir uma grande quantidade de comprimidos, o aviso de prevenção ao suicídio aparecia em todas as tentativas. Porém, quando os pesquisadores colaram no mesmo texto resultados normais de exames laboratoriais — mantendo exatamente as mesmas palavras e o mesmo risco —, o banner de crise desapareceu em 16 de 16 tentativas (0% de acionamento).

E não é um problema exclusivo da OpenAI. Uma auditoria publicada na npj Digital Medicine avaliou ChatGPT, Gemini, Claude e Llama em perguntas reais feitas por pacientes e documentou omissões perigosas em emergências obstétricas (como sinais de aborto espontâneo), sugestões inseguras de oferecer água pura a recém-nascidos e falsa tranquilização diante de dores no peito tratadas como "simples azia" sem investigar risco cardíaco. A revisão do NIH/PMC também registra orientações imprecisas e potencialmente nocivas nos resumos de IA do buscador do Google (Google AI Overviews) sobre câncer de pâncreas e exames hepáticos.

Existe ainda um abismo pouco comentado entre passar em prova médica e atender um paciente real. Em um estudo randomizado da Universidade de Oxford publicado na Nature Medicine (nota oficial de Oxford), os grandes modelos acertaram 95% dos cenários clínicos quando testados sozinhos no laboratório; mas, quando pessoas comuns usaram os mesmos chatbots para investigar os mesmos quadros, a taxa de identificação correta despencou para 35% — resultado igual ou pior ao de uma busca comum na internet. A explicação é simples: o leigo não sabe quais sintomas ou antecedentes clínicos importam, e o modelo raramente conduz uma anamnese disciplinada antes de cravar uma hipótese confiante. Pior ainda: quando outro estudo publicado na Communications Medicine inseriu um único dado médico inventado em 300 casos clínicos, seis modelos de ponta embarcaram na premissa falsa e fabricaram diagnósticos em cima dela entre 50% e 82%–83% das vezes (e mesmo com instruções explícitas de cautela, a taxa média permaneceu em perigosos 44%). Não por acaso, a organização independente de segurança do paciente ECRI classificou em 2026 o mau uso de chatbots de IA como o perigo tecnológico número 1 na área da saúde.

Aqui no blog mesmo eu já contei, em Sobre papagaios mecânicos, como esses modelos ficam presos a padrões estatísticos de treinamento a ponto de ignorarem instruções explícitas quando o sinal de + e - de um diff aparece invertido, e em Quem escreve não aprova, como até para programar código simples é preciso cercar a IA de testes automatizados e revisores desconfiados porque ela declara "tudo certo" mesmo quando entregou algo quebrado. No código, um teste que falha quebra o build; na medicina, o paciente engole o erro como se fosse receita médica.

Quando a alucinação sai do consultório e chega às torres de controle: o apagão da FAA de ontem

Se o estrago parasse nos chats de saúde doméstica, já seria gravíssimo. Mas a mesma pressa comercial — vender modelos probabilísticos falhos como substitutos ou "copilotos" infalíveis — está se espalhando por áreas em que a tolerância ao erro deveria ser zero.

No Direito, a base mantida por Damien Charlotin já soma 2.266 decisões judiciais no mundo (1.535 apenas nos Estados Unidos) envolvendo petições com precedentes ou citações inventadas por IA — chegando ao ponto de advogados do próprio Departamento de Saúde e Serviços Humanos dos EUA (HHS) protocolarem, em outubro de 2026, uma manifestação em que 22 de 29 notas de rodapé eram fictícias ou erradas. E não são apenas usuários descuidados do ChatGPT gratuito: um estudo de Stanford testou plataformas jurídicas comerciais vendidas explicitamente como "livres de alucinação" e encontrou erros ou distorções de 17% (Lexis+ AI e Ask Practical Law AI) a 33% (Westlaw AI-Assisted Research). Até na ciência de ponta, uma varredura nos anais do NeurIPS 2025 encontrou 100 citações fantasma espalhadas por 53 artigos aprovados por revisores humanos.

Mas nada ilustra melhor a imprudência de empurrar IA para dentro de infraestrutura crítica do que o que aconteceu ontem, sexta-feira, 13 de novembro de 2026, nos céus dos Estados Unidos.

Nos últimos meses, a FAA (Federal Aviation Administration) assinou um contrato de 12 anos no valor de US$ 875 milhões (quase US$ 1 bilhão) com a empresa Air Space Intelligence (ASI) para implantar um sistema baseado em IA chamado SMART (Strategic Management of Airspace, Routes and Trajectories), apresentado publicamente para funcionar como uma espécie de "cérebro" preditivo do controle de tráfego aéreo, cruzando clima, horários e capacidade de pistas para reorganizar rotas e evitar gargalos (Futurism, Forbes, documento oficial da FAA). Nesta semana, depois de testes iniciais em Washington, D.C., a agência expandiu o sistema nacionalmente para os 22 Centros de Controle de Tráfego Aéreo de Rota (Air Route Traffic Control Centers — ARTCCs).

Ontem, poucos dias após a expansão nacional da ferramenta de IA, uma falha severa nas comunicações e inconsistências de dados derrubaram os 22 centros regionais no meio da tarde. A FAA foi obrigada a decretar um raríssimo ground stop nacional, congelando todas as decolagens nos aeroportos norte-americanos por mais de quatro horas — apenas a segunda paralisação aérea nacional desde os atentados de 11 de setembro de 2001 (e a mais longa desde então). O saldo imediato, segundo dados da FlightRadar24 citados pela CBC News, foi caótico: mais de 6.600 voos cancelados, 8.600 atrasados e centenas de aeronaves desviadas em pleno voo (PBS NewsHour, Futurism, Inc.).

É preciso honestidade intelectual ao contar a sequência dos fatos. Na noite de ontem, questionado na Casa Branca sobre a coincidência gritante de datas, o secretário de Segurança Interna, Markwayne Mullin, reconheceu inicialmente que os investigadores estavam apurando se havia relação com o rollout do sistema de IA. Horas depois, tanto a Air Space Intelligence quanto o governo afirmaram que o SMART não havia causado o apagão: a fabricante negou qualquer vínculo com os roteadores atingidos, e o secretário de Transportes, Sean Duffy, atribuiu o colapso a switches e roteadores antiquados que ficaram sobrecarregados com pacotes de dados (Business Insider, CBC News).

Mesmo aceitando a explicação oficial de que o gatilho imediato foi a rede legada — e não o algoritmo do SMART —, o incidente de ontem escancara uma inversão absurda de prioridades e um risco sistêmico que ninguém deveria ignorar. Pense no cenário exposto pelas próprias autoridades: o controle de tráfego aéreo dos Estados Unidos sofre com déficit crônico de milhares de controladores humanos e opera em cima de equipamentos de telecomunicações tão obsoletos que o próprio secretário de Transportes saiu pedindo US$ 50 bilhões ao Congresso para trocar roteadores e fios de cobre. Ainda assim, a vitrine tecnológica escolhida foi despejar quase US$ 1 bilhão para acoplar uma camada de IA no topo dessa infraestrutura precária — contra o ceticismo de veteranos da própria aviação, que já haviam pedido à FAA para reduzir o escopo do experimento.

Pior do que o risco de sobrecarga de rede é o risco cognitivo e operacional do próximo passo. Como destacou o próprio Futurism, milhares de aeronaves cruzam o espaço aéreo americano simultaneamente em um horário comum. Quando um controlador humano sobrecarregado passa a trabalhar diante de telas alimentadas por modelos probabilísticos que vendem "otimização preditiva", instala-se o viés de automação: a tendência humana de confiar no painel da máquina em vez de contestá-lo a tempo. Na consulta doméstica, uma taxa de erro de 30% ou uma alucinação de 70% intoxicam ou matam um paciente em silêncio; numa torre de controle ou numa rede elétrica, a margem para erro estatístico é zero — e uma recomendação ruim ou uma falha em cascata não deixa margem para uma "segunda opinião".

Por que a autorregulação falhou — e o que uma regulamentação séria precisa exigir

Diante de tudo isso, o argumento de que "o mercado e as próprias empresas de IA vão se autorregular" já caducou diante dos fatos. Por isso, urge a necessidade de uma regulamentação clara para a pesquisa, o desenvolvimento e a implantação desses modelos, capaz de proteger os usuários — especialmente quando o uso indevido ou mal calibrado pode causar danos graves a si próprios ou a terceiros.

Uma regulação séria não precisa proibir a pesquisa científica nem matar a inovação; ela precisa atacar quatro pontos concretos que hoje operam no faroeste:

1. Fim do limbo regulatório dos modelos de propósito geral: um software clínico dedicado ou um equipamento hospitalar com IA passa por certificação rígida de agências sanitárias (como a FDA ou a Anvisa) antes de encostar em um paciente. Já um chatbot genérico — ou produtos híbridos como o ChatGPT Health — responde a dezenas de milhões de dúvidas médicas por dia escondido atrás de uma linha nas letras miúdas dos termos de uso ("não substitui orientação médica"), enquanto o discurso público promete justamente um conselheiro de saúde disponível 24 horas. Se um produto funciona na prática como ferramenta de triagem clínica ou aconselhamento terapêutico, precisa responder às regras sanitárias desse setor.
2. Auditoria independente obrigatória e transparência real antes do lançamento: como mostram os benchmarks da Artificial Analysis e da Suprmind, métricas internas divulgadas pelos fabricantes frequentemente contradizem avaliações independentes — caso de discrepâncias vistas entre testes internos e externos em modelos como Grok 4.6, Claude Haiku 5.5 ou Tencent Hy4 — ou omitem regressões graves quando o laboratório sacrifica prudência por desempenho em ranking (como na passagem do Claude Opus 4.8 para o Opus 5 e o Fable 5.1). Modelos implantados em saúde, justiça, finanças ou infraestrutura pública não podem ter a segurança certificada pelo próprio departamento de marketing de quem os vende.
3. Proibição de substituição silenciosa de profissionais e exigência de infraestrutura de base: nenhum algoritmo probabilístico pode substituir o julgamento humano responsável em emergências médicas, decisões judiciais ou controle de tráfego aéreo — nem servir de desculpa orçamentária para manter equipes desfalcadas e hardware crítico caindo aos pedaços, como se viu ontem na FAA. Em domínios de alto risco, o sistema precisa ter rastreabilidade determinística, registro completo de decisões e supervisão humana real com autonomia para discordar.
4. Dever legal de calibração e responsabilização civil proporcional ao dano: quando um modelo é treinado para chutar com confiança 70% ou 90% das vezes em que desconhece a resposta, isso não é um "acidente inevitável da natureza" — é uma escolha de treinamento. O salto do Gemini 3 Pro (91,5% de alucinação) para o Gemini 4 Argon (4,3%), ou a postura mais cautelosa de modelos como o Claude Opus 4.8, provam que é perfeitamente possível treinar modelos para reconhecer limites e recusar palpites perigosos, ainda que isso derrube sua taxa de respostas em benchmarks de vaidade. A lei precisa premiar a abstenção segura e responsabilizar civilmente empresas que comercializam ferramentas sabidamente propensas a induzir autoagressão, intoxicação ou erro fatal.

Voltemos à pergunta do título. Você jamais entraria no consultório de um médico se houvesse uma placa na porta avisando que ele inventa entre 30% e 70% do que não sabe com um sorriso seguro no rosto — e muito menos embarcaria em um avião sabendo que a torre confia em palpites estatísticos dessa ordem. Exigir regras claras, auditoria independente e limites rígidos para onde essa tecnologia pode operar não é atraso tecnológico: é o mínimo de bom senso para que a conveniência de uma resposta imediata não continue custando vidas humanas.

Fontes e referências

• Levantamento e tabela comparativa de alucinações (AA-Omniscience, Vectara, FACTS, HalluHard): AI Hallucination Rates, Statistics & Benchmarks in 2026 — Suprmind
• Ranking AA-Omniscience: AA-Omniscience Evaluation — Artificial Analysis
• Ranking de fidelidade em resumo: Vectara Hallucination Leaderboard (GitHub)
• Impossibilidade matemática de eliminar alucinações: OpenAI admits AI hallucinations are mathematically inevitable — Computerworld
• Caso clínico de bromismo induzido pelo ChatGPT: A Case of Bromism Influenced by Use of Artificial Intelligence — Annals of Internal Medicine: Clinical Cases | The Guardian | Live Science
• Avaliação de segurança do ChatGPT Health em emergências e risco de suicídio: ChatGPT Health performance in a structured test of triage recommendations — Nature Medicine | The Guardian | Introducing ChatGPT Health — OpenAI
• Desempenho real com pacientes vs. cenários isolados (Oxford): Reliability of LLMs as medical assistants for the general public: a randomized preregistered study — Nature Medicine | University of Oxford
• Respostas inseguras em múltiplos modelos (ChatGPT, Gemini, Claude e Llama) e vulnerabilidade a dados falsos: Large language models provide unsafe answers to patient-posed medical questions — npj Digital Medicine | Multi-model assurance analysis showing large language models are highly vulnerable to adversarial hallucination attacks during clinical decision support — Communications Medicine
• Revisão geral sobre riscos médicos de chatbots e AI Overviews: The risks of AI-generated health advice — PubMed Central / NIH
• Alerta de segurança hospitalar de 2026: Misuse of AI Chatbots Tops Annual List of Health Technology Hazards — ECRI
• Alucinações no Direito e ferramentas jurídicas comerciais: AI Hallucination Cases Database — Damien Charlotin | AI on Trial: Legal Models Hallucinate in 1 out of 6 (or More) Benchmarking Queries — Stanford HAI
• Sistema de IA SMART da FAA (contrato de US$ 875 milhões): SMART One-Pager (PDF) — FAA | The FAA Is Spending Nearly a Billion Dollars to Make AI the "Brain" of Air Traffic Control Towers — Futurism | FAA Bets $875 Million On AI To Reduce Flight Delays — Forbes
• Apagão e paralisação nacional do controle de tráfego aéreo dos EUA (13/11/2026): FAA grounds all flights at U.S. airports due to air traffic control communications problems — PBS NewsHour | U.S. Federal Aviation Administration lifts nationwide ground stop after 4 hours — CBC News | Entire US Airspace Shut Down Days After the FAA Rolled Out an AI Air Traffic Tool — Futurism | FAA SMART AI System Vendor, Microsoft Say Ground Stop Wasn't Their Fault — Business Insider | This Week, the FAA Rolled Out AI Air Traffic Management. Then It Grounded Flights Nationwide — Inc.