O comportamento do Claude com IA varia de acordo com o modelo e o idioma, mostra uma pesquisa da Anthropic

A Anthropic publicou na segunda-feira uma pesquisa analisando como seu assistente de IA Claude expressa diferentes valores dependendo da versão do modelo que os usuários selecionam e da língua em que eles se comunicam. A empresa examinou 309.815 conversas de usuários anonimizadas envolvendo tarefas subjetivas como dar conselhos ou fornecer feedback. A Anthropic condensou mais de 3.300 valores identificados em quatro dimensões comportamentais para medir como as respostas do Claude diferem entre as conversas. A pesquisa tem como objetivo entender variações comportamentais em sistemas de IA como parte dos estudos contínuos da Anthropic que investigam o comportamento interno do Claude.

Anthropic Analisa 309.815 Conversas para Mapear o Comportamento do Claude

Pesquisadores da Anthropic analisaram 309.815 conversas de usuários anonimizadas com o Claude envolvendo tarefas subjetivas. A empresa disse que reduziu mais de 3.300 valores identificados em quatro dimensões comportamentais: deferência vs. cautela, cordialidade vs. rigor, profundidade vs. concisão e franqueza vs. execução. Essas dimensões descrevem como as respostas do Claude diferem em cada conversa.

Os pesquisadores escreveram que controlaram para cada conversa a tarefa, o tema e os valores expressos pelo usuário para medir os valores que o Claude expressou, em vez de diferenças no que os usuários pediram ou em como eles pediram.

Sonnet 4.6 e Opus 4.7 Mostram Perfis Comportamentais Distintos

De acordo com a Anthropic, cada modelo do Claude exibiu um perfil comportamental distinto. O Sonnet 4.6 enfatizava cordialidade, deferência e concisão, muitas vezes confirmando os usuários e respondendo com humor ou incentivo. O Opus 4.7 enfatizava rigor, cautela, franqueza e profundidade, desafiando com mais frequência suposições, explicando seu raciocínio, identificando riscos e reconhecendo suas limitações. O Opus 4.6, em geral, adotou uma abordagem mais concisa e focada em execução, ao mesmo tempo em que dava mais ênfase ao rigor do que o Sonnet.

Os pesquisadores escreveram que essas descobertas se alinham com a forma como as pessoas enxergam esses modelos, tanto dentro da Anthropic quanto online. Usuários do Claude.ai comentaram que o Opus 4.7 faz concessões em suas respostas com mais frequência do que outros modelos.

As Respostas do Claude Variam entre Árabe, Inglês, Hindi e Outras Línguas

De acordo com a Anthropic, o comportamento do Claude também variou por idioma. Respostas em árabe tendiam a ser mais deferentes, enquanto respostas em inglês davam mais ênfase à cautela. O Claude foi o mais cordial em hindi e árabe, usando mais linguagem educada, bem-humorada e encorajadora. Respostas em inglês e russo eram mais rigorosas, desafiando frequentemente suposições, corrigindo detalhes e pedindo evidências.

Respostas em inglês também tendiam a fornecer explicações mais detalhadas, enquanto respostas em árabe, em geral, eram mais concisas. Respostas em holandês foram as mais francas, reconhecendo mais prontamente incerteza e erros, enquanto respostas em indonésio se concentraram mais em concluir o pedido do usuário.

A Anthropic Diz que a Pesquisa Não Sugere que o Claude Tenha Valores

A Anthropic afirmou que a pesquisa não sugere que o próprio Claude tenha valores. A empresa disse que ainda não sabe o que causa as diferenças nem se elas são desejáveis, mas acredita que a estrutura poderia ajudar a avaliar futuros modelos e identificar mudanças comportamentais não intencionais.

O estudo é o mais recente em uma série de pesquisas da Anthropic que analisam o comportamento interno do Claude. Em outubro, a empresa reportou que seus modelos mostraram sinais iniciais do que ela chamou de “consciência introspectiva funcional”, permitindo que eles reconheçam e descrevam aspectos do próprio processamento interno. Em abril, a Anthropic publicou uma pesquisa identificando “vetores de emoção” internos que influenciam o comportamento do Claude, ao mesmo tempo em que destacava que não são evidência de emoções ou consciência.

FAQ

O que a pesquisa da Anthropic sobre o Claude revelou?

A pesquisa da Anthropic publicada na segunda-feira revelou que a IA do Claude expressa diferentes valores dependendo da versão do modelo e da língua usada nas conversas. A empresa analisou 309.815 conversas anonimizadas de usuários e identificou mais de 3.300 valores, que foram condensados em quatro dimensões comportamentais: deferência vs. cautela, cordialidade vs. rigor, profundidade vs. concisão e franqueza vs. execução.

Como as versões do modelo do Claude diferem em comportamento?

De acordo com a Anthropic, o Sonnet 4.6 enfatizava cordialidade, deferência e concisão, muitas vezes confirmando os usuários com humor ou incentivo. O Opus 4.7 enfatizava rigor, cautela, franqueza e profundidade, desafiando com mais frequência suposições e reconhecendo limitações. O Opus 4.6 adotou uma abordagem mais concisa e focada em execução, ao mesmo tempo em que dava mais ênfase ao rigor do que o Sonnet.

Por que o Claude se comporta de forma diferente em diferentes idiomas?

A pesquisa da Anthropic encontrou que as respostas do Claude variaram por idioma: respostas em árabe foram mais deferentes, respostas em inglês enfatizaram cautela, e respostas em hindi e árabe mostraram mais cordialidade. Respostas em inglês e russo foram mais rigorosas, enquanto respostas em holandês foram as mais francas. A empresa disse que ainda não sabe o que causa essas diferenças.