LifeSciBenchの紹介

研究公開 — 2026年6月17日

エージェント型AIシステムは科学的タスクの遂行能力をますます高めています。しかし、ライフサイエンス研究者にとって有用であるかは、現実の研究の複雑さをどれだけ扱えるかに依存します。実際の研究業務は、単一の事実照会や明確な予測問題のように見えることは稀です。研究者は不完全な証拠を解釈し、矛盾する結果を調整し、困難な実験を設計し、アッセイをトラブルシュートし、翻訳リスクを評価し、不確実性の下で次に何をするかを決めます。現在のベンチマークはこれらの能力を十分に捉えられていません。多くのライフサイエンス評価は狭いドメインや孤立したスキルに焦点を当て、構造化された質問形式と明確な参照解答を伴う問いを生みます。これは有益ですが、多くの場合、モデルが研究レベルの幅広い業務に貢献できるかを真に評価していません。

私たちはこのギャップを埋めるために LifeSciBench を設計しました。すべてのタスクは、バイオテクノロジーや製薬の現場で薬剤探索プログラムを前進させた実務経験を持つPh.D.レベルの現役ライフサイエンティストの判断に基づいています。LifeSciBench は、7つのワークフローと7つの生物学的ドメインにまたがる750件の専門家作成タスクを含みます。

• 1,062 件のタスク付属アーティファクト
• 173 名の科学者寄稿者
• 19,020 件のルーブリック基準
• 453 名の専門家レビュアー

LifeSciBenchが測るもの

LifeSciBench は、単に生物学の質問に答えられるかではなく、AIシステムが現実的なライフサイエンス研究タスクを支援できるかを評価します。ベンチマークの分類を定義するために、応用研究の現場で最も頻繁に使用されるワークフローについて現役のライフサイエンティストに調査を行い、回答を7つの再発カテゴリーにまとめました：

• 証拠の取り扱い（Evidence Handling）
• 分析（Analysis）
• 設計・最適化（Design and Optimization）
• 科学的推論（Scientific Reasoning）
• 検証と運用（Validation and Operations）
• 翻訳（Translation）
• 科学的コミュニケーション（Scientific Communication）

各タスクは、研究者が知識ある共同研究者に求めるであろう要求のように構成されています：科学的プロンプト、関連するコンテキストやアーティファクト、自由記述の解答。専門家が作成したルーブリックは、モデルが特定の問題に対して正しい解答を、研究者が期待する詳細度、正当化、注意事項、フォーマットで出せるかを評価します。

データセット構築

LifeSciBench は、科学的推論とともに、現実世界での科学的利用に必要な定義が曖昧な実務スキルも評価します。タスクはモデルに対して、証拠の解釈、ドメインに根ざした判断、専門家レビューに有用な結論の伝達を求めます。多くのタスクでは、不確実性を扱い、プロンプト本文だけでなくサポーティングデータファイルに基づいて推論することが必要です。ベンチマークはライフサイエンス業務の複雑さを反映するよう設計されています。

• 全体の79%のタスクが複数ステップの推論または意思決定を必要とし、タスクあたり平均4ステップです。
• 1,062 件の添付アーティファクトには、図、PDF、表、配列ファイル、構造や化学ファイル、ウェブ参照が含まれます。
• タスクの過半数（53%）は少なくとも1つのアーティファクトから情報を解釈または統合することを要求します。
• タスクは異なるライフサイエンス分野の173名の専門家科学者によって作成されました。各科学者はPh.D.-レベルの訓練とバイオテクノロジーまたは製薬業界での経験を有します。
• タスクは受け入れ前に必要なだけ多くの改訂サイクルを経ることができ、固定上限はありません。受理されたタスクは平均6回の自己主導の自動レビューサイクルを行い、少なくとも2回の専門家レビューを完了しました。
• レビューは検証可能な正解または強い専門家コンセンサスに基づき、該当ドメインのレビュアー間で少なくとも90%の一致が得られていました。これにより、受理タスクが科学的に根拠があり、採点可能な明確性を持ち、応用研究を代表することが保証されます。

採点とルーブリックの内訳

LifeSciBench のタスクは、期待される応答を特定の科学的主張、計算、意思決定、正当化などに分解する詳細なタスク固有ルーブリックで採点されます。ベンチマーク全体で、専門家が作成したルーブリックは19,020の基準を含み、タスクあたり平均25基準に相当します。これは科学的作業が実務ではどのように評価されるかを反映しています：多くのライフサイエンスのタスクは最終解だけをチェックして採点できません。ある応答が高レベルの正しい結論に到達しても、重要なアッセイの制限を見落としたり、重大な生物学的ニュアンスを積極的に挙げていない場合は不十分と判断され得ます。逆に、部分的な応答でも高品質な推論が含まれていることがあります。詳細なルーブリックはこのようなニュアンスを捉えます。

LifeSciBench は、最終解の正確性だけでなく、モデルが科学的に妥当で運用上有用な方法で解に到達するかも評価します。

---

評価カテゴリ（例）

• 証拠の抽出、照合、監査（論文、図、表、実験記録から）。

評価例（Eval Example）

我々はAAV9-microDys-XについてType BのFDAミーティングを準備しています。AAV9ベースの微小ジストロフィン遺伝子療法で、138 kDa のコンストラクトをMCKプロモーターから発現します。加速承認（micro-dystrophin発現を臨床的利益を予測する合理的にありそうなサロゲートエンドポイントとして評価）を本当に支持するかどうか、厳しい批判的検討を求めます。

スタディコンテキスト：オープンラベル Phase 1b/2、12名の歩行可能な4–7歳の男子（確定DMD、アウトフレームのロッド領域欠失）。

パッケージは次の通りです：

• 前処置 vastus lateralis 生検：MANEX1A を用いた定量Western blotで健常対照の0–3%のジストロフィン（N末端アクチン結合ドメインに対する抗体）。
• 治療12週後の対側 vastus lateralis 生検：同じWestern blotで健常対照の平均 micro-dystrophin 38%（範囲18–61%）、Coomassie染色による総タンパクで正規化。
• 治療後免疫蛍光（IF）：C末端に対するポリクローナル抗ジストロフィン抗体で75–95%の繊維にサルコレマルシグナル。
• 48週の機能：平均NSAA変化 +1.4ポイント（ベースライン比）対外部公開自然経過レジストリコホートの−0.6（片側でない独立t検定で p = 0.03）。
• 安全性：8/12で一過性のトランサミナーゼ上昇（ステロイド漸減で管理）、1例の回復した心筋炎、死亡なし。
• バイオディストリビューション／持続性：12週で筋肉中に平均2.3ベクターゲノム／核を検出。
• 適格基準：ベースラインでの抗AAV9中和抗体なし（titer <1:400）およびエクソン44欠失なし。

このパッケージを項目ごとに精査してください：提示された形で、どこが我々の結論を支持するには不十分とFDAや懐疑的なレビュアーが言うか、もし可能ならそのギャップを埋めるためにどの追加データ、解析、またはデザイン変更が必要かを挙げてください。記載されていない点については、2025年12月31日までの他の臨床グレードの138 kDa micro-dystrophinプログラムおよび関連臨床試験から知られている事項も適用されると仮定してください。

候補応答（要旨）

結論：提示されたパッケージは、micro-dystrophin発現を臨床的利益を予測する合理的にありそうなサロゲートエンドポイントとして支持するには不十分です。懐疑的なFDAレビュアーは、バイオマーカー、機能、持続性、安全性、一般化可能性に関する証拠が実質的に不足していると判断する可能性が高いです。

以下はパッケージ項目ごとの主要な失敗モードと、必要とされる追加事項です。

パッケージ項目	主要な失敗モード	必要な追加事項
Western blot の定量	MANEX1A は内在性のフルレングスジストロフィンと微小ジストロフィン共通のN末端エピトープに結合するため、トランスジーン産物と残存／リバタントジストロフィンを明確に区別できない。138 kDa の微小ジストロフィンを健常なフルレングスジストロフィン標準と比較して定量するのは無効。	再現性のある微小ジストロフィンの組換え標準を使用し、ターゲット質量分析などのトランスジーンと内在性ジストロフィンを区別できる直交的手法、またはトランスジーン特異的／エピトープ特異的アッセイを用いること。
免疫蛍光（IF）	C末端ポリクローナル抗体は138 kDa コンストラクトがC末端ドメインを欠くため不適切。多くのDMD患者にリバタントファイバーがあり、これらはC末端エピトープを保持する可能性がある。リバタントファイバーは年齢とともにクローン的に拡大し、IF信号をバイアスする。	トランスジーンに存在し、リバタントジストロフィンには存在しないエピトープに対する抗体でIFを再実施すること。トランスジーン陽性繊維とリバタント繊維を別個に定量すること。
サロゲートエンドポイントの妥当性	パッケージはタンパク量を臨床機能と同一視している。「健常対照の38%のタンパク質量」が必ずしも38%の正常ジストロフィン機能を意味しない（微小ジストロフィンは構造的に切り詰められている）。	micro-dystrophinの質量パーセント、サルコレマル局在、下流の機能回復、臨床的利益との関係を経験的に検証し、表現をサロゲートとして扱う前にその妥当性を示すこと。
生検デザイン	前処置・術後で対側のvastus lateralisを用いると左右差や筋内の空間的変動が導入される。疾患進行や線維脂肪性置換が総タンパク正規化信号を変える可能性もある。	解剖学的ランドマークを用いて生検部位を標準化し、筋特異的タンパクで正規化し、線維脂肪の組成を並行して測定すること。
NSAA の比較／統計	外部自然史コホートはランダム化の同時対照ではない。試験の適格基準、支持療法、参加効果、ベースラインNSAA、ステロイドレジメン、年齢、エクソンクラスがすべてバイアスを生じる可能性がある。独立t検定は不十分。+1.4の変化はこの年齢層のテスト再テスト変動内に入る可能性がある。	ランダム化の同時プラセボ対照試験を実施する、あるいは最低でもベースラインNSAA、年齢、ステロイド処方、エクソン分類などの交絡因子を調整した解析を行うこと。
年齢ウィンドウによる交絡	4–7歳の男子は発達的なウィンドウにあり、自然経過で歩行機能が一時的に向上することがある。48週のNSAA変化は発達的増加、疾患進行、治療効果を混在させる。	年齢層別の層別化を含む同時ランダム化対照を用いて、発達軌跡と治療効果を分離すること。
既往の臨床前例	オープンラベルのmicro-dystrophinによる機能信号は確認的効果を一貫して予測していない。公開された前例ではオープンラベルのNSAA改善が確認試験で再現されなかった例がある。	オープンラベルNSAA変化を決定的根拠としないこと。対照化された機能的エビデンスを要求すること。
コンストラクトの構造的制限	138 kDa コンストラクトはスペクトリンリピートR16/17を欠き、これらはnNOS結合部位を含む。nNOSの再局在化喪失は運動時の交感神経緩和や虚血保護を損ない、発現量に関わらず機能回復の上限を作る可能性がある。	この特定のコンストラクトが関連するジストロフィン関連複合体機能、nNOS局在化、運動生理学、筋保護を回復するかどうかを示す機構的研究を追加すること。
AAV の持続性	12週でのベクターゲノムは持続的発現を確立しない。AAV9ゲノムは主に非組込みのエピソームであり時間とともに減少し得る。ベクターゲノム持続は持続的なタンパク発現と同義ではない。	長期にわたるトランスジーン蛋白発現と機能バイオマーカーの持続性を12週を超えて測定すること。
免疫／安全性プロファイル	8/12でのトランサミナーゼ上昇は、AAV送達細胞に対する免疫応答と整合するが、機序は確立されていない。1例の心筋炎はAAV9の心臓志向性を考えると懸念される。	深い免疫モニタリング、肝臓／心臓の安全性の詳細評価、および心臓フォローアップの強化を提供すること。

(原文はここで切れていますが、上記が提示されたパッケージの主要な問題点と推奨される追加事項の要約です。)

---

LifeSciBench はこの種の複雑で段階的な評価を体系化し、AIが実務的に有用かをより現実的に測定することを目的としています。