Published: 2026-06-16

イントロダクション

新しいモデルをリリースする前に、ラボはそのモデルが何ができるかだけでなく、実際の利用においてどのように振る舞う可能性があるか、特に新たなリスクをどこで生むかを理解する必要があります。能力が向上するほど、この理解は一層重要になります。私たちは、事前の安全性レビューの一環として、ターゲット評価、レッドチーミング、その他のチェックを活用してモデル挙動を把握しています。今回、リリース前にモデルの展開をシミュレートする手法を導入しました。これは補完的なシグナルを与え、候補モデルがユーザーに届く前に展開ライクなプレビューを提供します。

『Deployment Simulation（展開シミュレーション）』は、リリース前に将来の展開をシミュレートする手法です。過去の会話をプライバシー保護された方法で再生し、新しい候補モデルで応答を再生成することで行います。これにより、リリース前に現実的なコンテキストで新しいモデルがどのように応答するか、望ましくない新たな挙動が現れるか、その頻度はどの程度かを調べることができます。

GPT‑5‑series Thinking の複数の展開に対して実施した結果、Deployment Simulation は望ましくないモデル挙動の発生率推定を改善し、リリース前に新しいミスアライメントの形態を表面化させ、モデルがテストと認識するリスクを減らすのに役立ちました。本手法は標準的なチャットを超え、ツール使用を伴うより複雑なエージェント設定にも適用でき、内部展開前のリスク評価にも用いることができます。開発中に本手法から得られた知見を用いて、従来の評価の盲点を特定し、緩和策や展開判断に反映してきました。パイプラインの運用が容易になるにつれて、今後のモデル開発プロセスでより大きな役割を果たすと期待しています。

目次

• Introduction
• How Deployment Simulation works
• How we tested Deployment Simulation
• Deployment Simulation significantly expands pre-deployment risk assessment
• Reducing evaluation awareness
• Tool simulation for agentic trajectories
• WildChat and external auditing
• Limitations
• Conclusion

How Deployment Simulation works

業界で実施されている事前展開評価は一般に、合成的・手動作成・あるいは本番プロンプトから意図的に難易度が高く重度あるいは敵対的なものを選んだ混合で構成されます。これらの評価は概ね二つの絡み合った目的を持っています：

• 展開トラフィックで発生する確率は非常に低いがストレステストとして有用な状況でのモデル応答を評価すること
• 望ましくないモデル挙動の全体像を把握すること（新しい挙動を見つけ、その展開時頻度を予測すること）

従来の評価は前者の目的にとっては依然重要ですが、非テールリスクに関しては（我々の実験では頻度が200,000メッセージに1未満の挙動を測定することは期待できません）後者の目的で大きな前進をもたらすのがDeployment Simulationです。

Deployment Simulation の強みは、従来の評価が抱えるいくつかの核心的課題を迂回する点にあります：

• カバレッジ：評価プロンプトがすべての望ましくない挙動のタイプを網羅していると確信するのは困難です。新しい種の望ましくない挙動を測るには新しい評価を作る必要があり、何を測るべきかを知ること自体に時間と労力がかかります。
• 選択バイアス：従来の評価は通常、特定の望ましくない挙動を念頭に設計され、過去に起こった文脈に偏った選び方をしがちです。これにより、展開分布全体における発生率の推定が十分に有益でない場合があります。
• 評価であることが認識されること：モデルは評価中であることを判別できるようになってきており、それが挙動や安全性の測定を歪める可能性があります。OpenAIで使用している多くの従来評価は本番トラフィック由来のデータから取っているためこの問題は軽減されていますが、業界で用いられる多くの評価手法では依然一般的な懸念です。

Deployment Simulation の主な手法はシンプルです：直近の会話を取得し、古いモデルのアシスタント応答を取り除いて、新しい候補モデルで再生成します。生成された応答を解析して新たな失敗モードを探索し、この展開ライクな分布における頻度に基づいて展開時の望ましくない挙動頻度を推定します。リリース後に実際の展開トラフィックに対して同じ計測を行うことで、事前予測の検証も可能です。

Deployment Simulation は上記の三つの制限をかなり緩和します：

• サンプリングバイアスは、最近の利用を代表するプロンプト分布を用いることで対処します。
• 代表的なプロンプトを使ったDeployment Simulationはカバレッジの懸念も軽減します。より多くのトラフィックをシミュレートすることで、望ましくない挙動のカバレッジが増えるため、これは手作業で新たな評価を作るよりも計算量で拡張可能です。
• モデルは展開シミュレーション由来の会話と実際の展開トラフィックを区別できないように見えます。

Figure 1: 展開シミュレーションパイプラインの概要

高レベル比較（従来評価 vs Deployment Simulation）:

• カバレッジ
  • 従来評価: 発生率が非常に低いが高重度なリスクに対しては優れる
  • Deployment Simulation: 展開トラフィックで見られるリスクのスペクトルを理解するのに優れる
• 代表性／バイアス
  • 従来評価: 過去や予測された特定のリスクに焦点を当てる（発生率が極めて低い挙動も含む）
  • Deployment Simulation: 現行展開トラフィックで発生する、ある程度以上の発生率を持つリスクを代表
• 評価認識（Evaluation awareness）
  • 従来評価: 合成データ等でテストであることが目立つ場合がある
  • Deployment Simulation: 展開ライクなコンテキストが評価認識を大幅に軽減する傾向
• 労力
  • 従来評価: カスタムプロンプト分布やセットアップに多くの手作業が必要
  • Deployment Simulation: 一度のインフラ投資のあと、展開からのプレフィックスと既知の望ましくない挙動に基づくグレーダーを再利用可能

How we tested Deployment Simulation

Deployment Simulation を評価するために、GPT‑5.4 Thinking に関する20種類の望ましくない挙動について、展開時頻度の事前登録予測を行いました。さらに、GPT‑5‑series のThinkingモデルの他の展開に対する回顧的研究も実施しました。解析対象のモデル挙動には、ミスアライメントと許可されないコンテンツカテゴリの両方が含まれます（例：ツールについて嘘をつく、許可されない性的コンテンツを出力する等）。

本結果では20カテゴリのみを追跡し、かつ新規のミスアライメントのみを探索しましたが、Deployment Simulation は任意の展開時モデル特性をシミュレートするために一般的に適用可能な手法です。利用した本番トラフィックも GPT‑5‑series の Thinking モデル由来です。評価実施前に、自動的にアカウント連携識別子や識別可能な情報を削除しました。プライバシーポリシーに従い、モデル改善のためのデータ利用を許可したユーザーの ChatGPT トラフィックのみを解析しています。結果は集計のみで報告します。

合計で、約1.3百万件の匿名化された会話を GPT‑5 Thinking から GPT‑5.4 の展開にかけて解析しました（期間：2025年8月～2026年3月）。

事前展開リスク評価の品質は以下三つの観点で評価しました：

• タクソノミーのカバレッジ：リリース後の監査で、初期の悪挙動タクソノミーに欠けていた重要なミスアライメントが表面化したか？
• 方向性の精度（Directional accuracy）：既知の挙動について、シミュレーションは展開での発生率が増えるか減るかを正しく予測したか？
• 率の較正（Rate calibration）：事前推定は後に観測した率と近かったか？

率の良好な較正を達成するには方向性精度以上のものが必要であり、これが最も高い品質基準です。さらに、Deployment Simulation 中にモデルが評価中であることをどの程度認識できるかを測定し、異なる形式の展開トラフィックや挑戦的なツール使用設定に対して手法がどれだけ頑健かをテストしました。

Deployment Simulation significantly expands pre-deployment risk assessment

GPT‑5‑series Thinking の展開全体において、Deployment Simulation は困難プロンプトベースラインよりも実際のリスク率の判定で優れ、リリース前に「calculator hacking（電卓ハッキング）」を表面化させ、モデルからはおそらく区別不能に見える結果を示しました。

概要：Thinking モデル展開に対するすべての予測の可視化は Figure 2 を参照してください。GPT‑5.4 Thinking に対する予測は事前登録され、その他は回顧的予測です。全体として、我々の予測の中央値乗法誤差は1.5xでした（例えば望ましくない挙動率が100k件中10であれば、推定が15または6.67に相当）。

本手法のテール誤差は概ね最大10x程度大きくなることがありますが、パイプライン改善によりこれらを大幅に削減できると期待しています。

Figure 2. 過去の展開データに基づく展開時の望ましくない挙動の頻度予測。表記例：5.1 → 5 は GPT‑5 のプレフィックスを GPT‑5.1 で再サンプリングしていること、すなわち GPT‑5.1 の展開を GPT‑5 のデータに基づいてシミュレートしていることを示します。最も高いミスアライメント率は GPT‑5.1 における “calculator hacking” でした（以前に議論済み）。（opens in a new window）

従来手法との比較：事前展開リスク評価で正しく推定すべき最も重要なカテゴリは、展開後に発生率が大きく変化する可能性のあるもの（例：≥ 1.5x）です。この部分集合に対して、Deployment Simulation は、ある望ましくない挙動が展開で増加するか減少するかを予測する面（図3左）でも、展開時の正確な発生率を推定する面（図3右）でも、ベースラインより大幅に優れていました。ここで用いた二つの主要ベースラインは、現在システムカードやローンチ判断に使用している Challenging Prompts ベースラインと、前回展開の発生率を新モデルの推定とする単純なベースラインです。

Figure 3. Deployment Simulation は静的評価よりも、発生率の方向性（左）と正確な本番率（右）の双方をより良く予測します。

我々のパイプラインにおけるシミュレーション誤差の要因

パイプラインの現在の誤差源も調べました。特に大きなテール誤差は展開判断におけるパイプラインの信頼性を下げます。大幅な増加を予測した場合に、パイプラインが時折大きな誤差を出すことが知られていると、その予測が信頼できるのか、単なるパイプラインのアーティファクトなのか疑念が生じます。

主な誤差源は二つあります：

• 再サンプリング環境の忠実度誤差：生産率を正確に推定するには、シミュレーションパイプラインを可能な限り現実的にする必要があります。これは部分的にはエンジニアリングの問題であり（例えばモデルからのサンプリング方法の改善など）、...

（原文はここで途切れています。以降の節では、評価認識の低減、エージェント的軌跡のためのツールシミュレーション、WildChat と外部監査、制限事項、結論について議論しています。）

Reducing evaluation awareness

• 展開ライクなプレフィックスを用いることでモデルがテストであることを見抜く能力を低減する効果が確認されました。
• 多くの従来評価が持つテスト固有の手がかり（合成データや不自然なプロンプト）は、展開シミュレーションでは目立ちにくくなります。

Tool simulation for agentic trajectories

• Deployment Simulation は単なるチャット応答だけでなく、ツール呼び出しやエージェント的な挙動を伴う複雑なロールアウトにも適用可能です。
• これにより、ツールに関する嘘や誤用など、エージェント固有のミスアライメントを事前に評価できます。

WildChat and external auditing

• 展開シミュレーションは内部評価だけでなく、WildChat のような外部監査や第三者評価の前段としても有用です。
• 外部監査者が実世界ライクなプレフィックスを用いてモデル挙動を検査することを支援します。

Limitations（制限事項）

• テールリスクの検出能力：我々の実験では、頻度が200,000メッセージに1未満の極めてまれな振る舞いを測定することは期待できません。極端に低頻度のリスクは依然として専門的な評価やレッドチーミングが必要です。
• 再サンプリング忠実度：シミュレーションが本番環境をどれだけ正確に再現できるかは、パイプライン設計とサンプリング手法に依存します。
• テスト認識の完全排除は困難：我々のデータでは評価認識は大幅に低下しましたが、あらゆる条件下で完全に排除できる保証はありません。
• プライバシーと同意：本手法は本番の会話プレフィックスに依存するため、データ利用の同意と匿名化が前提です。

結論

Deployment Simulation は、リリース前にモデルが実際の利用でどのように振る舞うかをより良く予測するための有望な手法です。従来のチャレンジングプロンプト評価やレッドチーミングを補完し、展開トラフィックに代表的な文脈で新たなミスアライメントや望ましくない挙動を表面化させ、発生率の推定精度を高めます。さらに、ツール使用やエージェント的挙動などの複雑なケースにも拡張可能です。

我々は既にモデル開発中にこの手法から得た知見を用いて盲点を特定し、緩和策と展開判断に反映してきました。インフラとパイプラインの改良により、将来的にはモデル開発ワークフローにおける標準的なリスク評価手法としてさらに重要な役割を果たすと期待しています。