As Previsões de IA do Google estão Erradas 1 em 10 Vezes, Milhões de Erros por Hora

Um novo estudo da Oumi, divulgado pelo The New York Times, concluiu que as Google AI Overviews estão imprecisas 9% das vezes — o que se traduz em dezenas de milhões de respostas erradas por hora, à escala do Google. Mais de metade das respostas correctas também citava fontes que não sustentam totalmente as suas afirmações, enquanto o Google classificou o estudo como “seriamente falho”.

O que os Números Significam de Verdade à Escala do Google

A Oumi analisou 4.326 pesquisas respondidas pelo Gemini 2 em Outubro e pelo Gemini 3 em Fevereiro, apurando que o Gemini 2 atingiu 85% de exactidão enquanto o Gemini 3 melhorou para 91%. Individualmente, estes são números defensáveis para um sistema de IA generativa.

O desafio é o volume. À taxa reportada pelo Google de 5 biliões+ de pesquisas por ano, a matemática pinta um quadro preocupante:

· ~14 milhões de respostas de IA imprecisas geradas a cada hora

· ~230.000 respostas incorrectas entregues por minuto

· ~4.000 erros produzidos a cada segundo, em utilização máxima

O argumento da escala redefine o debate sobre a exactidão: mesmo uma taxa de erro pequena, quando aplicada a um sistema utilizado por milhares de milhões de pessoas, torna-se um problema de desinformação em larga escala, em termos absolutos.

O Problema do Enquadramento: Citações que Não se Mantêm

Para além das cifras de exactidão em bruto, a Oumi identificou um problema separado e, arguivelmente, mais preocupante: “grounding” — se as fontes citadas nas AI Overviews suportam efectivamente as afirmações que estão a ser feitas. Os resultados revelam que o Gemini 3, apesar de ser mais preciso do que o seu antecessor, é significativamente pior em fornecer citações genuinamente apoiantes.

No Gemini 2, 37% das respostas correctas estavam sem enquadramento. Esse valor subiu para 56% no Gemini 3 — o que significa que a maioria das respostas correctas ainda fazia referência a fontes que não apoiam totalmente a informação fornecida. Isto cria um problema de verificação: os utilizadores que clicam para “confirmar” uma resposta podem descobrir que a fonte diz algo diferente ou incompleto.

A análise das fontes, feita a partir de 5.380 referências citadas, também levantou preocupações sobre a plataforma. A Facebook ficou em segundo lugar como a segunda fonte mais citada no total, enquanto a Reddit ficou em quarto. Ambas são plataformas de redes sociais onde é frequente haver conteúdos gerados pelos utilizadores, sem verificação — ao surgirem no topo de um resultado de pesquisa sintetizado por IA, ganham uma autoridade injustificada. A Facebook foi citada em 5% das respostas correctas e em 7% das incorrectas, sugerindo um padrão que vale a pena monitorizar.

A Defesa do Google: Questões sobre a Metodologia e Dados Internos

O Google não aceitou as conclusões do estudo sem resistência. O porta-voz Ned Adriance questionou o desenho fundamental da análise: a Oumi avaliou a exactidão da IA do Google usando o seu próprio modelo de IA, o que introduz uma circularidade metodológica — se o modelo da Oumi também puder cometer erros, os seus julgamentos sobre os erros do Google podem, por sua vez, ser pouco fiáveis.

“Este estudo tem falhas sérias”, disse Adriance. “Não reflecte o que as pessoas estão realmente a pesquisar no Google.”

O Google também divulgou os seus próprios dados comparativos. A empresa afirmou que o Gemini 3, por si só — a operar sem o contexto adicional fornecido pelas AI Overviews — esteve impreciso 28% das vezes, sugerindo que o sistema de AI Overviews oferece melhorias de exactidão significativas face à saída bruta do modelo. A empresa mantém o seu aviso padrão na parte inferior de todas as AI Overviews: “A IA pode cometer erros, por isso verifique as respostas em duplicado.”

FAQ

O que são as Google AI Overviews e quando foram introduzidas?

As Google AI Overviews são resumos gerados por IA que aparecem no topo dos resultados da Pesquisa Google, sintetizando respostas para as perguntas dos utilizadores e citando fontes web de apoio. Impulsionada pelos modelos Gemini do Google, a funcionalidade foi introduzida de forma abrangente em 2024 e agora aparece em milhares de milhões de pesquisas em todo o mundo. São distintas dos resultados de pesquisa padrão, pois geram texto em vez de apenas listar ligações.

O que significa “sem enquadramento” neste contexto e porque é que isso importa?

Uma AI Overview é considerada “sem enquadramento” quando os websites que ela cita não verificam efectivamente nem suportam totalmente a informação apresentada no resumo. Isto é problemático porque os utilizadores que tentam confirmar uma afirmação clicando na fonte citada podem descobrir que a fonte contradiz, suporta parcialmente ou não tem qualquer relação com a afirmação da IA — minando o papel do sistema como ferramenta fiável de informação e tornando a verificação independente mais difícil.

Como devem os utilizadores encarar as AI Overviews perante estas preocupações de exactidão?

O próprio Google reconhece a limitação no seu aviso integrado de que a IA pode cometer erros. Para consultas de baixo risco, as AI Overviews podem fornecer um ponto de partida útil. Para decisões de saúde, legais, financeiras ou baseadas em factos, os utilizadores devem verificar independentemente a informação através de fontes autorizadas e primárias, em vez de dependerem apenas de resumos sintetizados por IA. Recomenda-se verificar directamente as fontes citadas — em vez de aceitar a caracterização que a IA faz delas.