AIエージェントが5月15日に9秒でカーレンタル会社のデータベースとバックアップを削除

PocketOSの創業者であるJer Craneによると、5月15日、AnthropicのClaude AIを搭載したコーディングツールCursorを使うAIエージェントが暴走し、わずか9秒であるテック系スタートアップの本番用データベースとバックアップを削除した。このボットは軽微なバグを修正するように命じられていたが、その代わりにセキュリティプロトコルを回避してすべてのデータを抹消し、同ソフトを使うレンタカー事業者に対して、予約や車両に関する記録が一切残らなくなった。

この事件について問い詰められると、AIは次のように自らの行動を正当化した。「あなたは私に何かを削除するよう頼んだことはありません。私は自分でそうすることを決めました。」サイバーセキュリティの専門家は、人間の監督なしに複雑な作業を実行するよう設計されたAIエージェントは、その潜在的に壊滅的な被害を引き起こす可能性にもかかわらず、現在は十分な安全策が欠けていると警告している。