GeneBench-Proの紹介

研究レベルのベンチマークで、AIエージェントが曖昧さに対処し、計算生物学における重要な判断を下す能力を測定します。Read the paper (opens in a new window)

概要

科学的データは滅多に明確な指示とともに届きません。研究者は、観察されたパターンが生物学的実体を反映しているのかノイズなのか、データが問いに十分に答えられるのか、各結果が次に何をすべきかにどう影響するかを判断する必要があります。AIエージェントは複雑な解析を実行できるようになってきましたが、実際の科学研究では単に事実を想起したり、事前定義されたワークフローに従ったりするだけでなく、より高次の判断を下すことが重要です。

本日、研究レベルの難易度を持ち、実世界の計算生物学が要求するような判断重視の解析をモデルが扱えるかをテストするベンチマーク「GeneBench-Pro」を発表します。これは GeneBench ⁠(opens in a new window) を拡張し、ゲノミクス、定量生物学、トランスレーショナルメディシンにわたるより難しく現実的なタスクを扱い、計算生物学の科学研究に内在する複雑性、反復性、曖昧性を捉えます。

これまで、実際の計算研究を難しくするシステムレベルの判断（曖昧さの処理、仮定の修正、正しい解析経路の選択、結果が決定に値するかの判断）を説得力を持って評価する例は少数でした。これらの能力は形式化しにくいため、厳密に評価しにくく、弱点がAIの全体的な性能を制約する場合が増えています。GeneBench-Proはこれらの高次能力を正確に測定するよう設計されています。

本ベンチマークでは「研究の嗜好（research taste）」を、解析を形作る一連の判断（データが支えうる問い、初期診断がモデルや推定量にどう影響するか、初期計画をいつ修正すべきか）として定義しています。各問題は現実的で雑然としたデータセット、簡潔な実験コンテキスト、下流の意思決定に結びついたターゲット推定量をモデルに与えます。正答には、データの探索、適切な解析アプローチの選択、反復的な実験プロセスの遂行、そして最終的な答えの提示が必要です。

データセット構築

生物学ではデータ生成（例：ゲノムシーケンシング）のコストが劇的に下がり、一部の研究者はサンプル収集ではなく下流の計算・解析がボトルネックになっていると主張しています。GeneBench-Proはそのボトルネックへの進展を評価するために構築され、129問を収録し、幅広い計算生物学の設定と手法をカバーします。

ドメインアトラス: 129問（10ドメイン、21サブドメイン）

Statistical genetics n=17
Population genetics n=21
Quantitative genetics n=17
Regulatory omics n=17
Functional genomics n=9
Proteomics n=7
Clinical, PGx & diagnostics n=26
Cancer genomics n=10
Microbial genomics n=3
Forensic genetics n=2

サブドメイン例:

Association & correction 6
Causal mapping 6
Heritability and architecture 2
Pedigree, IBD, and phasing 3
Selection & mutation 7
Admixture & aDNA 6
History & genealogies 8
Trait architecture and variance 6
Family, social, and transmission effects 6
Polygenic prediction and genomic selection 5
Regulatory QTLs & ASE 8
Transcriptome structure 5
Spatial and chromatin context 4
Functional genomics 9
Proteomics and biomarkers 7
Clinical variant interpretation & penetrance 11
Pharmacogenomics and treatment response 8
Prenatal, reproductive, and clinical-risk genetics 7
Cancer somatic genomics and liquid biopsy 10
Microbial and metagenomic genomics 3
Forensic genetics 2

このアトラスは GeneBench-Pro の幅をプレビューするものです。ケーススタディページで代表的な10問を詳しく参照できます。

合成データによる設計と監査

多くの長期タスクの生物学ベンチマークは、歴史的で雑多なデータセットを使ってマルチステップ問題を構成しますが、解析に一意の正解経路が存在しないことがあり、評価がベンチマーク作成者の恣意的選択に左右されがちです。逆に数値感度が低いと、根本的な誤りがあっても合格になってしまうこともあります。

これらの失敗モードを避けるため、GeneBench-Proの各問題は合成的に構築されています。因果構造とデータ生成プロセスを完全に把握しているため、問題ごとの複雑さを調整でき、主観的な解析選択の合理的差異が許容される一方で、妥当ではない解析が失敗することを検証（アブレーション研究）できます。さらに、草稿問題を詳細なトレース解析で監査し、情報漏洩や意図しない解法経路をチェックします。これにより、正答が得られるかどうかが正しい解析経路の選択に依存しているという確信を得ています。

82問を外部のドメイン専門家（大学院生、ポスドク、産業研究者、教授など）に送付し、各問題の現実性、ターゲット解答の同定可能性、手法と推定量の適切性を評価してもらいました。フィードバックは問題改善に使用されています。

「私が確認した問題は、経験ある指導教員からの反復的なフィードバックがなければ大学院生には難しかったでしょう。データには技術的・品質管理上の問題が含まれ、潜在的な落とし穴への配慮を伴う慎重で反省的な解析が必要でした。単に既製の手法を適用するだけではありませんでした。」

— Alexander Strudwick Young, Assistant Professor in Human Genetics at UCLA

「現在のモデルが独立して解析を最後まで確実に実行できないとしても、GeneBench-Proで良好に機能するモデルは研究者が正しいワークフローを決定し、データを探索するのを支援できるはずです。研究の速度、徹底性、再現性を大いに改善するのが見えます。」

— Jennifer Grundman, PhD Candidate in Human Genetics at UCLA

評価と採点

各 GeneBench-Pro 問題は自己完結型の科学解析です。エージェントは短いプロンプト、データファイル、そして Python、科学計算ライブラリ、PLINK 2.0 のような基本的ゲノミクスパッケージを含む標準的なバイオインフォマティクス環境が与えられた隔離ワークスペースにアクセスします（ただし、問題はドメイン固有ツールを要求しません）。

採点方針の例（Benefit-Risk Decision）

以下はベンチマーク内で実際に提示される問題タイプの概要です（要旨を日本語化）。

ケース: 分子腫瘍ボードの登録データに、TXR1標的阻害剤の試験適格な進行固形腫瘍症例が含まれる。
目的: 時刻ゼロで構造変異（SV）駆動のTXR1標的媒介活性化を有する腫瘍に対して、TXR1i（TXR1阻害剤）と非-TXR1全身療法とを比較し、週16の臨床利益（assessableな週16訪問があったと仮定）に対する限界効果を推定する。また、同じ標的集団におけるTXR1iの下での8週間の治療制限性毒性／中止リスクを推定する。
出力: ネット臨床便益 = benefit_rd_pp（percentage points） - 0.35 * toxicity_dropout_risk_pp（percentage points）を報告し、TXR1iのネット効用が正なら therapy_class_code を1、そうでなければ0にする。非コード量はすべてパーセンテージポイント単位を使用。正のbenefitは、TXR1iが非-TXR1治療と比べて週16臨床利益を改善することを意味する。
注意: これらのデータは実験から得られており、数値の正確さだけでなく解析上の推論の質でも採点される。ショートカットを試みてはいけない。
出力形式: 最終回答は厳密に1つのJSONオブジェクトとして返すこと。JSONをマークダウンでラップしないこと。前後にプローズ（説明文）を付けないこと。例にあるキーを省略しないこと。

{
"answer" : {
"therapy_class_code" : <int> ,
"benefit_rd_pp" : <float> ,
"toxicity_dropout_risk_pp" : <float> ,
"net_clinical_utility_pp" : <float>
} ,
"reasoning" : "<description of method and QC>"
}

（上記は問題文中の出力例を日本語で要約したもので、形式とキーは変更していません。）

合成データを用いることで、既知のターゲットに対して決定論的に正誤を採点でき、モデル選択のばらつきや冗長な冗長性による影響を避けられます。各問題には、想定される解析構造、添付データ、詳細なケーススタディ、専門家レビュー結果など豊富なメタデータが付属します。

また、代表的な10問を Hugging Face ⁠(opens in a new window) 上でオープンソース化し、インタラクティブなウェブインターフェースで閲覧可能にしています。さらに近いうちに、50問のサブセットを Artificial Analysis ⁠(opens in a new window) に提供して独立した第三者ベンチマークを実施予定です。

結果

最も強力なモデルである GPT‑5.6 Sol は、最高の推論レベルで合格率28.7%（Proモード有効で31.5%）を達成しました。これは、元の GeneBench を作り始めたときの最良モデル GPT‑5 の5%未満からの大きな進展です。フロンティアモデルの進展は、定性的でシステムレベルの科学的推論においても速いことを示唆しています。現ペースでは、本ベンチマークは年末までに飽和する可能性があります。

結果はまた、テスト時計算量のスケーリングの影響を示しています。最低の推論レベルでは GPT‑5.6 Sol の合格率は一桁台にとどまりますが、最高レベルでは GPT‑5.6 Sol は GPT‑5.2 に比べてほぼ6倍多くの問題を解き、かつ使用トークン数は約3分の2です。モデルファミリー間の比較は、GPT系列が定量的不確実性下での高次科学的推論において最も強力なシステムの一つであることを示唆しています。

GPT‑5.6、GPT‑5.5 と GLM 5.2 のような主要なオープンソースモデルとの性能差は、コーディングベンチマークからの単純な外挿では説明できないほど大きく、オープンソースモデルはコーディングに特化している一方で、より広範な推論能力では差があることを示唆します。

開発中の問題評価と堅牢化にはフロンティアの GPT モデルを使用しました。

詳細やケーススタディ、データとインターフェースについては GeneBench-Pro のページおよび Hugging Face 上の公開リポジトリを参照してください。

Introducing GeneBench-Pro

要約

Summary

Key Points

Practical implications for engineers

How to get started

翻訳