オープンウェイトリーズニングモデルの限界を押し広げる gpt-oss-120b と gpt-oss-20b
OpenAIは、低コストかつ高効率なオープンウェイト言語モデル「gpt-oss-120b」と「gpt-oss-20b」をApache 2.0ライセンスで公開した。これらのモデルは、推論能力やツール使用などの多彩な機能でOpenAIの独自モデルと同等またはそれ以上の性能を示し、80GBや16GBの一般的ハードウェア上で動作するよう最適化されている。さらに、包括的な安全対策と敵対的ファインチューニングへの強化学習を行い、開発者に対して安全かつ柔軟なカスタマイズ環境を提供し、オープンモデルの透明性と民主化を促進することを目的としている。
ポイント
- gpt-oss-120bは80GB GPUで、高性能なOpenAIモデルo4-miniと同等の推論性能を発揮する。
- gpt-oss-20bは16GBメモリのエッジデバイスで動作可能で、コスト効率よくローカル推論ができる。
- 両モデルはツール使用、関数呼び出し、チェーン・オブ・ソート推論（CoT）など高度な機能を備えている。
- モデルはApache 2.0のオープンソースで公開され、幅広いプラットフォームやハードウェアで展開可能。
- 包括的な安全性トレーニングと敵対的ファインチューニング評価により、オープンモデルとして高い安全基準を確立。
- Microsoftをはじめ複数のパートナーと協力し、Windowsデバイス向けの最適化や多様な展開形態を支援している。
- OpenAIはRed Teaming Challengeを通じてさらに安全性の検証を行い、コミュニティとの協働を推進。
- 高度なMoE構造と128kトークンの長文コンテキスト対応により、効率的な大規模推論が可能。
- STEM、コーディング、一般知識などの高品質データを用いて事前学習し、OpenAIの他モデルと共通のトークナイザーを採用。
- モデルの利用は特に新興市場や小規模組織におけるAI導入のハードルを下げる効果が期待されている。
事後学習について
このモデルは、o4-mini と同様のプロセス（教師ありファインチューニングと高計算量の強化学習）で学習しています。目的は、モデルをOpenAI Model Specに合わせ、CoT推論の適用とツール利用を学習させることです。当社独自のSoTA推論モデルと同様の技術により、学習後に優れた能力を発揮します。
OpenAI oシリーズの推論モデルAPIと同様に、公開されている2つの重みモデルは、レイテンシとパフォーマンスのトレードオフとなる3種類の推論レベル（低、中、高）をサポートします。開発者は、システムメッセージ内でreasoning_effortを簡単に設定できます。
| モデル | レイヤー | パラメータ合計 | トークンあたりのアクティブパラメータ数 | エキスパート合計 | トークンあたりのアクティブエキスパート数 | コンテキスト長 |
|---|---|---|---|---|---|---|
| gpt-oss-120b | 36 | 117b | 5.1b | 128 | 4 | 128k |
| gpt-oss-20b | 24 | 21b | 3.6b | 32 | 4 | 128k |
評価結果
大規模言語モデルである gpt-oss-120b と gpt-oss-20b の性能を、いくつかの標準的な学術ベンチマークを用いて評価しました。具体的には、コーディング能力、競技数学の能力、健康に関する知識、そして自律的にツールを使用する能力を測定し、他の OpenAI の推論モデル（o3、o3-mini、o4-mini など）と比較しました。
-
gpt-oss-120b:
- 競技プログラミング（Codeforces）、一般的な問題解決（MMLU、HLE）、ツール呼び出し（TauBench）において、OpenAI の o3-mini よりも優れており、o4-mini と同等またはそれ以上の性能を示しました。
- 特に、健康に関する質問（HealthBench）と競技数学（AIME 2024 & 2025）においては、o4-mini よりも優れた性能を発揮しました。
-
gpt-oss-20b:
- サイズが小さいにもかかわらず、OpenAI の o3-mini と同等またはそれ以上の性能を示し、競技数学と健康においては o3-mini を上回りました。
オープンウェイトとオープンソースの違い
オープンウェイトとオープンソースの主な違いは、公開対象と利用目的です。
公開対象の違い
- オープンウェイト: 学習済みのAIモデルを公開します。
- オープンソース: ソフトウェアのソースコードを公開します。利用目的の違い
- オープンウェイト: AIモデルを利用し、応用することが主な目的です。
- オープンソース: ソフトウェアの開発と改良が主な目的です。ライセンスの違い
- オープンウェイト: 多くの場合、商用利用を許可するライセンスが適用されます。
- オープンソース: GPL、MIT、Apacheなど、様々なライセンス形態があります。おわりに
gpt-oss-120b と gpt-oss-20b は、特定の分野において、OpenAI の既存モデルと比較して優れた性能を示すことが示されました。特に gpt-oss-120b は、より高度な推論能力と専門知識が求められる分野で強みを発揮しています。また、gpt-oss-20b は、比較的小さなモデルながらも、特定の分野で優れた性能を発揮できることがわかりました。
コメント