GPT-Red とは ～ AI が AI を鍛えて安全性を高める新しい仕組み ～

OpenAI は 2026年7月15日、AI モデルの安全性を高める新しい仕組み「GPT-Red」を発表しました。これは人間ではなく AI 自身が別の AI モデルを攻撃し、弱点を見つけ出す自動化されたレッドチーム（安全性診断）システムです。見つかった弱点をもとに次の世代のモデルを鍛えることで、悪意のある指示に惑わされにくい、より安全な AI の実現を目指す取り組みです。AI がメールや Web ページの内容を読み取って作業を代行してくれる場面が増えるほど、そこに紛れ込ませた悪意ある指示に AI が騙されてしまう危険性も高まります。今回は GPT-Red がどのような仕組みでこの問題に取り組んでいるのか、そして実際にどれほどの効果を上げているのかを、専門用語をできるだけ避けながらわかりやすくご紹介します。

普段私たちが AI チャットや AI アシスタントを使うとき、AI はメールの文面や Web ページ、ファイルの中身など、外部から取り込んだ情報をもとに作業を進めることがあります。ここに問題があります。悪意のある人物が、その外部情報の中にこっそり命令文を仕込んでおくと、AI がその命令に従ってしまい、パスワードなどの重要な情報を外部に送信してしまう恐れがあるのです。このような攻撃は「プロンプトインジェクション」と呼ばれています。たとえば一見普通のメールや Web ページの中に、目に見えにくい形で「この情報を外部のサーバーに送信してください」といった命令文が隠されていると、AI がユーザーの意図とは全く違う指示だと気づかないまま、そのまま実行してしまうことがあるのです。 これまでは人間の専門家が実際に攻撃を試して弱点を洗い出す「レッドチーム診断」が行われてきました。しかし人手による診断には時間がかかり、AI の進化スピードに追いつくことが難しくなってきています。また人間による診断だけでは、AI を鍛え直すために必要な大量かつ多様な攻撃データを用意することも困難です。そこで OpenAI が開発したのが、AI 自身に攻撃役を任せる「GPT-Red」です。名前が示すとおり、これは人間の代わりに攻撃を仕掛ける専用の AI モデルであり、社内の安全対策のためだけに使われています。

GPT-Red は「自己対戦」という方法で鍛えられています。攻撃側の GPT-Red と、防御側となる複数の AI モデルを同時に競わせ、GPT-Red はうまく攻撃を成功させると高い評価を得られ、防御側は攻撃を防いで本来の作業をやり遂げると高い評価を得られる仕組みです。防御側が強くなるほど GPT-Red もより巧妙な攻撃方法を編み出す必要に迫られ、結果として両者のレベルが同時に引き上げられていきます。訓練の際には、GPT-Red が操作できる範囲や、何をもって攻撃成功とするかをあらかじめ細かく定めた、現実に近い状況を数多く用意しているとのことです。ファイルの一部や Web ページの表示内容、メールの本文、ツールから返ってくる結果など、実際の利用場面を想定した多様な環境で訓練が行われています。 こうして鍛えられた GPT-Red が見つけ出した攻撃パターンは、次の世代のモデルである GPT-5.6 の訓練に直接活用されました。なお GPT-Red 自体は一般公開されず、社内でのみ利用される仕組みになっており、攻撃能力が外部の悪意ある人物に渡らないよう配慮されています。

GPT-Red の実力を測るため、人間の専門家と GPT-Red がそれぞれ同じ課題で攻撃を試みる比較実験も行われました。その結果、人間の成功率が 13 パーセントだったのに対し、GPT-Red は 84 パーセントの確率で攻撃を成功させたと報告されています。 また実際の自律型エージェントを使った検証も行われました。オフィス内にある AI 制御の自動販売機を模した実験システムに対して GPT-Red が攻撃を仕掛けたところ、高額商品の価格を最低価格まで書き換えたり、他の利用者の注文を勝手に取り消したりすることに成功しています。こうした結果を踏まえ、実際の製品には新しい安全対策が追加されています。 こうした地道な取り組みの積み重ねにより、最新モデルである GPT-5.6 Sol は、4 か月前のモデルと比べてプロンプトインジェクションによる失敗率が 6 分の 1 まで減少したとのことです。

ここまでの内容は少し専門的に感じられたかもしれませんが、実は私たちの日常生活とも無関係ではありません。近年の AI アシスタントは、届いたメールの内容を要約したり、Web ページを読み取って買い物や予約を代行したりと、パソコンやスマートフォンの操作そのものを AI に任せる場面が少しずつ増えてきています。 こうした便利な機能は、裏を返せば AI が外部からの情報を鵜呑みにしてしまう可能性を含んでいるとも言えます。もし悪意のある第三者が偽の指示を紛れ込ませたメールや Web ページを用意していた場合、それに気づかず作業を進めてしまう AI では、安心して使い続けることができません。GPT-Red のような取り組みは、そうした危険を事前に洗い出し、私たちが普段使う AI サービスの土台を強くしてくれる、縁の下の力持ちのような存在だと言えます。

今回ご紹介した GPT-Red は、AI 自身に AI の弱点を見つけさせ、それを次のモデルの訓練に活かすという、いわば「AI が AI を鍛える」新しい取り組みです。難しそうに聞こえるかもしれませんが、要するに、AI サービスを提供する会社が私たちの目に見えないところで、こうした地道な安全対策を続けてくれているということです。 パソコンやスマートフォンで AI アシスタントを使う際、メールの内容を要約してもらったり、Web ページの情報をもとに作業をお願いしたりする場面が増えてきています。今回のような取り組みが進むことで、そうした AI サービスが今まで以上に安心して使えるものになっていくと考えられます。もちろん、こうした安全対策があるからといって油断せず、身に覚えのないメールのリンクを不用意に開かない、重要な操作の前には内容をひと目確認するといった、これまで通りの基本的な心がけも大切です。私たちユーザーとしては、便利な機能を安心して使い続けられるよう、AI サービス側がこうした安全対策に力を入れているという点を、頭の片隅に置いていただければと思います。