OpenAI、プロンプトインジェクション攻撃に対抗するためGPT-5.6を強化する「GPT-Red」を導入

OpenAIによると、同社は水曜日に、オートメーションされたAIのレッドチーミングシステム「GPT-Red」を導入し、デプロイ前に言語モデルの脆弱性を特定するとしています。GPT-RedはGPT-5.6の学習に用いられており、プロンプトインジェクションのベンチマークにおける失敗を減らしました。OpenAIは、GPT-Redが社内の評価シナリオの84%で成功した一方で、同じテストにおける人間のレッドチーム担当者の成功率は13%だったと述べています。このシステムは自己対戦による強化学習で動作し、防御側のモデルがそれらへの対抗策を学ぶ一方で、攻撃は段階的により強力なものが生成されます。OpenAIは、GPT-Redが意図的に開発された攻撃的な能力を持つため、社内ツールとして運用されるとしています。
免責事項:本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、免責事項をご確認ください。
コメント
0/400
コメントなし