AI Gateway:支出上限でAIコストを制御
Key Points
- 実利用金額で制限
- モデル/プロバイダでスコープ
- 固定/スライディング窓対応
Summary
AI Gatewayに「支出上限(spend limits)」が追加されました。トークン使用量とモデルの価格を基に累積ドル支出を追跡し、予算を超えると該当リクエストをブロックします。レート制限とは異なり、回数ではなく実際のコストを基準に管理できます。設定はモデル別・プロバイダ別・カスタムメタデータなどでスコープ可能です。
Key Points
- 支出上限は実利用コストを集計し、予算超過時にリクエストをブロックする
- スコープ例:ユーザーごと($200/日)、ゲートウェイ合計($10,000/日)、特定モデルのユーザー毎($50/日)
- 時間窓は固定またはスライディングで設定可能
- Unified Billing および既知価格のモデルに対する BYOK リクエストに対応
- エンジニア向けの運用ポイント:しきい値設計、モニタリング/通知、テストで遮断挙動を確認する
詳細はドキュメント(Spend limits)を参照してください。