Mistral 発、3B の万能安全審査 AI「Shieldstral」～ポリシーを自在に切り替える新発想のコンテンツモデレーション～

Mistral AI が、わずか 3B というコンパクトなサイズながら、7 倍もの大きさを持つモデルに匹敵する性能を発揮する、マルチモーダル対応の安全性判定 AI「Shieldstral」を発表しました。テキストと画像の両方に対応し、あらかじめ決められたルールに縛られず、利用者が指定した基準に応じて柔軟に判定内容を切り替えられる点が特徴です。ライセンスは Apache 2.0 で、モデルの重みは無料で公開されています。

生成 AI を使ったサービスやアプリが増えるにつれて、「この内容は公開しても安全か」を機械的に判定する仕組みが欠かせなくなっています。ただ、何を「安全」とするかは、サービスの性質によって大きく異なります。セキュリティ研究者向けのツールでは許容される内容が、メンタルヘルス系のアプリでは問題になることもあります。 従来型の安全判定モデルの多くは、あらかじめ決まった分類項目をモデル自体に組み込んでいるため、判定基準を変更したい場合は再学習が必要でした。Mistral AI が発表した Shieldstral は、この課題を解決するために開発された、3B パラメータのオープンウェイトなモデルです。NVIDIA などが参加する「Open Secure AI Alliance」の設立メンバーとしても紹介されており、Apache 2.0 ライセンスのもと Hugging Face から無料でダウンロードできます。

Shieldstral のもっとも大きな特徴は、安全性の判定を「質問に対する Yes か No かの回答」として扱う点です。判定を行う際には、次の 3つの要素を入力します。 – 判定の背景や基準となるポリシーの説明 – 「この内容は暴力を助長していますか」といった具体的な質問 – 実際に判定したいテキストや画像 モデルは Yes と No のどちらに近いかを確率として算出し、0 から 1 の間の連続した安全性スコアとして出力します。あらかじめ用意されたカテゴリーではなく、その場で与えられた自然言語のポリシーに沿って判定するため、再学習をしなくても新しい基準にすぐ対応できます。

Shieldstral は、テキストの安全性判定や、AI の返答が適切に拒否されているかの確認、未知のポリシーへの対応力、画像を含むマルチモーダルな判定という 4つの観点で評価されており、自身より 7 倍も大きい既存モデルと同等かそれ以上の成績を収めています。特に画像を含む判定では、最高水準の精度を達成したとされています。 パラメータ数が 3B と小さいため、16GB の GPU 1枚で動作する軽さも大きな利点です。大規模な計算資源を持たない開発者や企業でも、比較的手軽に導入できる設計になっています。 たとえば、子ども向けのアプリでは画像や文章をより厳しめの基準で判定し、専門家向けのツールでは同じモデルのまま基準を緩めるといった使い分けも、モデルを作り直さずに実現できます。ひとつのモデルで幅広い用途に対応できるため、運用コストを抑えながら安全対策を続けられる点も注目されています。

Mistral AI によると、モデルの性能を左右した最大の要因は学習データの質だったとのことです。公開されている安全性データセットは、分類方法やラベルの付け方がデータセットごとにばらばらであるため、まずはこれらを同じ形式に統一する作業を行いました。 さらに、似たようで実は異なるポリシー同士をわざと混同しやすい形で用意し、AI に安全な文章を書き換えさせることで、どのポリシーに違反しているかを細かく見分ける力を鍛えています。画像データについては、そもそも「危険な画像」を AI が作り出すことができないため、一般的な画像データセットを安全な例として活用しながら学習を進めたということです。 こうして作られた複数のモデルを LoRA という手法で調整したうえで、SLERP という方法で統合し、Mistral AI 独自の学習基盤「Forge」を使って最終的な Shieldstral が完成しました。

Shieldstral は、AI を使ったサービスを安全に運用するための「見張り役」の AI と言えます。これまでは、サービスごとに専用の安全判定モデルを作り直す必要がありましたが、Shieldstral のように基準を後から自由に指定できるモデルが普及すれば、開発者はより早く、より柔軟にサービスの安全対策を整えられるようになります。 利用者の立場からすると、直接触れる機会は少ない技術ですが、こうした仕組みが裏側で働くことで、AI サービス全体の安心感が高まっていくことが期待されます。今後、多言語対応や、より長い文章、より幅広い画像への対応が進めば、私たちが普段使う AI サービスの安全性も、さらに底上げされていくものと思われます。 普段 AI チャットや画像生成サービスを使っていて「不適切な内容がきちんとブロックされている」と感じる場面があれば、その裏側では Shieldstral のような判定モデルが働いている可能性があります。技術の名前を覚える必要はありませんが、こうした安全対策の積み重ねが、安心して AI を使える環境につながっていることを知っておくと、サービス選びの参考にもなると思います。