Summary

OpenAIのCFO Sarah Friarが提案する実践的な「AIスコアカード」は、単なる性能指標ではなくビジネス価値に結びつくROI測定を目的とします。主要指標は「有用な作業（useful work）」「成功タスク当たりコスト」「依存性（dependability）」「計算資源あたりのリターン（return on compute）」で、エンジニアリングでの導入・計測が前提です。

Key Points

• 有用な作業を定義して計測する
  • 実際のユーザータスク完了、ビジネス成果、手動作業の代替度合いなどを定量化する。
• 成功タスク当たりのコストを追跡する
  • GPU/CPU時間、インフラ、データ準備、人手コストをタスク単位で割り当てる。
• 依存性（信頼性）を監視する
  • 可用性、遅延、失敗モード、期待される品質での成功率をSLO化する。
• 計算資源のリターンを評価する
  • スループットやスコア向上を計算時間や消費リソースで正規化して比較する。
• 実装上の実践的な手順
  • メトリクス設計→インストルメンテーション（タグ付け、コスト割当）→ダッシュボード→アラート→定期レビュー。
  • A/Bテストや稼働中評価で実ユーザー価値を検証する。
• エンジニア向けの短期アクション
  • エンドツーエンドでの成功判定を明文化し、コストタグを付与して可視化する。
  • コスト/成功率の閾値を設定し、異常時に自動でロールバック/アラートする。

このスコアカードは、モデル性能だけでなく運用コストと信頼性を合わせて評価することで、AIへの投資判断をより実務的に支援します。