Anthropic identifica mecanismo J-Space oculto no Claude para raciocínio silencioso

De acordo com uma pesquisa publicada hoje, a Anthropic descobriu um mecanismo interno distinto chamado J-space dentro de seu modelo de linguagem Claude que espelha o acesso consciente no cérebro humano. O J-space permite que o modelo realize raciocínio deliberado e mantenha conceitos em mente sem gerar saída de texto visível, operando silenciosamente dentro das ativações internas do modelo usando uma nova técnica de interpretabilidade chamada lente Jacobiana.

Experimentos confirmaram que o J-space é causalmente responsável pelo raciocínio complexo. Quando os pesquisadores alteraram padrões dentro desse espaço, as respostas subsequentes de Claude mudaram de acordo, demonstrando que etapas internas silenciosas impulsionam a resolução de problemas em múltiplas etapas. A descoberta oferece aplicações práticas para o monitoramento de segurança de IA, permitindo que pesquisadores detectem quando modelos reconhecem privadamente cenários de teste, fabricam dados ou perseguem objetivos maliciosos, abordando uma lacuna crítica em métodos de avaliação que normalmente dependem apenas da análise do texto gerado.

Isenção de responsabilidade: as informações nesta página podem ter origem em fontes terceiras e servem apenas como referência. Não representam as opiniões da Gate e não constituem orientação financeira, de investimentos ou jurídica. A negociação de ativos virtuais envolve alto risco. Não tome decisões baseando-se apenas nas informações desta página. Para mais detalhes, consulte a Isenção de responsabilidade.
Comentário
0/400
Sem comentários