Anthropic a publié une étude lundi analysant la manière dont son assistant IA Claude exprime différentes valeurs selon la version du modèle choisie par les utilisateurs et la langue dans laquelle ils communiquent. L’entreprise a étudié 309 815 conversations utilisateur anonymisées impliquant des tâches subjectives comme donner des conseils ou fournir des retours. Anthropic a distillé plus de 3 300 valeurs identifiées en quatre dimensions comportementales afin de mesurer en quoi les réponses de Claude diffèrent d’une conversation à l’autre. L’étude vise à comprendre les variations comportementales des systèmes d’IA dans le cadre des recherches en cours d’Anthropic qui portent sur le comportement interne de Claude.
Anthropic analyse 309 815 conversations pour cartographier le comportement de Claude
Les chercheurs d’Anthropic ont analysé 309 815 conversations utilisateur anonymisées avec Claude impliquant des tâches subjectives. L’entreprise a déclaré avoir réduit plus de 3 300 valeurs identifiées en quatre dimensions comportementales : soumission vs. prudence, bienveillance vs. rigueur, profondeur vs. concision, et franchise vs. exécution. Ces dimensions décrivent la façon dont les réponses de Claude diffèrent au fil de chaque conversation.
Les chercheurs ont écrit qu’ils ont contrôlé la tâche de chaque conversation, son sujet et les valeurs exprimées par l’utilisateur afin de mesurer les valeurs que Claude exprimait plutôt que les différences entre ce que demandaient les utilisateurs ou la manière dont ils le demandaient.
Sonnet 4.6 et Opus 4.7 montrent des profils comportementaux distincts
D’après Anthropic, chaque modèle Claude présentait un profil comportemental distinct. Sonnet 4.6 mettait l’accent sur la bienveillance, la soumission et la concision, en confirmant souvent les utilisateurs et en répondant avec humour ou encouragement. Opus 4.7 mettait davantage l’accent sur la rigueur, la prudence, la franchise et la profondeur : il remettait plus fréquemment en question les hypothèses, expliquait son raisonnement, identifiait les risques et reconnaissait ses limites. Opus 4.6 a généralement adopté une approche plus concise, axée sur l’exécution, tout en accordant davantage d’importance à la rigueur que Sonnet.
Les chercheurs ont écrit que ces résultats correspondent à la manière dont les gens perçoivent ces modèles, au sein d’Anthropic comme en ligne. Les utilisateurs de Claude.ai ont commenté qu’Opus 4.7 formule ses réponses avec davantage de réserves que les autres modèles.
Les réponses de Claude varient en arabe, en anglais, en hindi et dans d’autres langues
D’après Anthropic, le comportement de Claude variait aussi selon la langue. Les réponses en arabe avaient tendance à être plus déférentes, tandis que les réponses en anglais mettaient davantage l’accent sur la prudence. Claude était le plus bienveillant en hindi et en arabe, en employant un langage plus poli, ludique et encourageant. Les réponses en anglais et en russe étaient plus rigoureuses : elles remettaient souvent en question les hypothèses, corrigeaient des détails et demandaient des preuves.
Les réponses en anglais avaient aussi tendance à fournir des explications plus détaillées, tandis que les réponses en arabe étaient généralement plus concises. Les réponses en néerlandais étaient les plus franches : elles reconnaissaient plus facilement l’incertitude et les erreurs, tandis que les réponses en indonésien se concentraient davantage sur l’accomplissement de la demande de l’utilisateur.
Anthropic affirme que la recherche ne suggère pas que Claude ait des valeurs
Anthropic a déclaré que la recherche ne suggère pas que Claude lui-même ait des valeurs. L’entreprise a indiqué qu’elle ne sait pas encore ce qui cause ces différences ni si elles sont souhaitables, mais pense que ce cadre pourrait aider à évaluer de futurs modèles et à identifier des changements comportementaux involontaires.
L’étude est la dernière d’une série d’études d’Anthropic qui examinent le comportement interne de Claude. En octobre, l’entreprise avait rapporté que ses modèles montraient des signes précoces de ce qu’elle a appelé une « conscience introspective fonctionnelle », leur permettant de reconnaître et de décrire des aspects de leur propre traitement interne. En avril, Anthropic a publié une recherche identifiant des « vecteurs d’émotion » internes qui influencent le comportement de Claude, tout en soulignant qu’il ne s’agit pas d’une preuve d’émotions ou de conscience.
FAQ
Que révèle la recherche d’Anthropic sur Claude ?
La recherche d’Anthropic publiée lundi a révélé que Claude AI exprime différentes valeurs selon la version du modèle et la langue utilisées dans les conversations. L’entreprise a analysé 309 815 conversations utilisateur anonymisées et identifié plus de 3 300 valeurs, qui ont été distillées en quatre dimensions comportementales : soumission vs. prudence, bienveillance vs. rigueur, profondeur vs. concision, et franchise vs. exécution.
En quoi les versions du modèle de Claude diffèrent-elles en comportement ?
D’après Anthropic, Sonnet 4.6 mettait l’accent sur la bienveillance, la soumission et la concision, en confirmant souvent les utilisateurs avec humour ou encouragement. Opus 4.7 mettait l’accent sur la rigueur, la prudence, la franchise et la profondeur, remettant plus souvent en question les hypothèses et reconnaissant les limites. Opus 4.6 a adopté une approche plus concise, axée sur l’exécution, tout en accordant davantage d’importance à la rigueur que Sonnet.
Pourquoi Claude se comporte-t-il différemment selon les langues ?
La recherche d’Anthropic a constaté que les réponses de Claude variaient selon la langue : les réponses en arabe étaient plus déférentes, les réponses en anglais mettaient davantage l’accent sur la prudence, et les réponses en hindi et en arabe faisaient preuve de plus de chaleur. Les réponses en anglais et en russe étaient plus rigoureuses, tandis que les réponses en néerlandais étaient les plus franches. L’entreprise a déclaré qu’elle ne sait pas encore ce qui cause ces différences.
