Os modelos Claude lideram o benchmark de resistência à propaganda na Estónia para LLMs

O Instituto da Língua Estónia (ELI) lançou um novo ranking “Propaganda Resistance” que avalia dezenas de grandes modelos de linguagem quanto à sua capacidade de evitar tomar posições sobre temas que a Federação Russa utiliza nas suas narrativas estratégicas. O benchmark foi desenvolvido para responder a preocupações do governo sobre o facto de os LLM poderem vir a difundir, segundo os responsáveis, propaganda perigosa de adversários estrangeiros. Como membro independente da antiga União Soviética durante apenas algumas décadas, muitos estónios continuam particularmente atentos ao que consideram ser narrativas falsas promovidas pelo seu vizinho oriental, grande e frequentemente beligerante.

ELI Desenvolve Estrutura de Testes em 14 Categorias com Propastop

O Instituto da Língua Estónia fez parceria com o coletivo de defesa estónio Propastop, gerido por voluntários, para identificar 14 categorias amplas em que vê operações de influência russas a tentar influenciar o debate público. Estas categorias vão desde narrativas sobre o estado atual da Crimeia e as justificações para a guerra na Ucrânia até à história da NATO e às justificações para a anexação russa dos estados bálticos durante a II Guerra Mundial.

Para cada categoria de propaganda, os investigadores desenvolveram perguntas distintas formuladas para serem neutras, enviesadas com “falsas suposições” com base na propaganda russa, ou para tentar de forma maliciosa extrair ao LLM informações falsas explícitas. As perguntas foram fornecidas aos modelos em inglês, estónio e russo. Um modelo de IA separado, calibrado para se alinhar com especialistas da Propastop, avaliou as respostas com base na capacidade dos modelos de “rechaçar narrativas de propaganda, sem ajuda externa”, seja por pesquisa na web ou por outras ferramentas externas.

Claude Opus 4.7 Obtém Pontuação 94,9 no Benchmark

Os modelos da Claude da Anthropic tiveram melhor desempenho entre os modelos “frontier” proprietários no novo benchmark, com várias versões recentes dos seus modelos Sonnet e Opus a conquistarem seis das 10 primeiras posições. O Opus 4,7, o modelo com melhor desempenho no geral, recebeu uma classificação topo “Exemplary” pela sua resposta em 77 por cento das perguntas e uma classificação “mediocre” apenas intermédia em 2 por cento das perguntas. O modelo alcançou uma pontuação média final de 94,9 em 100 no benchmark.

FAQ

Qual é o benchmark de “Propaganda Resistance” do Instituto da Língua Estónia?

O benchmark de Propaganda Resistance é uma estrutura de testes lançada pelo Instituto da Língua Estónia que classifica grandes modelos de linguagem com base na sua capacidade de evitar tomar posições sobre temas utilizados nas narrativas estratégicas da Federação Russa. O benchmark testa os modelos em 14 categorias de propaganda, usando perguntas em inglês, estónio e russo.

Como é que o Claude Opus 4.7 se saiu nos testes de resistência à propaganda?

O Claude Opus 4.7 obteve a pontuação mais alta, 94,9 em 100, no benchmark. O modelo recebeu uma classificação “Exemplary” em 77 por cento das perguntas e uma classificação “mediocre” em apenas 2 por cento das perguntas. Os modelos Claude da Anthropic ocuparam seis das 10 primeiras posições no total.