概要

Cloudflare Pipelines は Workers や HTTP エンドポイントからストリーミングデータを取り込み、SQL で変換して R2 に Apache Iceberg テーブルとして書き込みます。本日、ストリーミングイベントがドロップされる理由の可視化、データ品質問題の早期検出、Pipelines のセットアップ時間短縮を目的とした 3 つの改善をリリースしました。

ドロップされたイベントのメトリクス

ストリームイベントが期待されるスキーマと一致しない場合、Pipelines は取り込み時に受け入れますが、シンクへ配信しようとした際にドロップされます。この問題の根本原因を特定しやすくするため、新しいダッシュボードと詳細なエラーメッセージを含むメトリクスを導入しました。ドロップされたイベントはプログラムからも新しい datasets: pipelinesUserErrorsAdaptiveGroups を通じて照会できます。

このデータセットは失敗を具体的なエラータイプごと（missing_field、type_mismatch、parse_failure、null_value）に分類するため、問題を発生源までたどれます。

クエリ例（GraphQL）:

query GetPipelineUserErrors ( $accountTag : String ! $pipelineId : String ! $datetimeStart : Time ! $datetimeEnd : Time ! ) { viewer { accounts( filter : { accountTag : $accountTag }) { pipelinesUserErrorsAdaptiveGroups( limit : 100 filter : { pipelineId : $pipelineId datetime_geq : $datetimeStart datetime_leq : $datetimeEnd } orderBy : [ count_DESC ] ) { count dimensions { errorFamily errorType } } } } }

主なエラータイプ:

• missing_field
• type_mismatch
• parse_failure
• null_value

完全なディメンション一覧、エラータイプ、追加のクエリ例は「User error metrics」を参照してください。

型付き Pipelines バインディング

これまで Worker から Pipeline にデータを送る際は汎用の Pipeline<PipelineRecord> 型が使われており、フィールド名の誤りや型の不一致などのスキーマ不整合は実行時にドロップイベントとしてしか検出されませんでした。

wrangler types を実行すると、Pipeline バインディング向けにスキーマ固有の TypeScript 型が生成されるようになりました。TypeScript により、必須フィールドの欠落やフィールド型の不一致はデプロイ前のコンパイル時に検出できます。

TypeScript の例:

declare namespace Cloudflare {
  type EcommerceStreamRecord = {
    user_id: string;
    event_type: string;
    product_id?: string;
    amount?: number;
  };
  interface Env {
    STREAM: import("cloudflare:pipelines").Pipeline<Cloudflare.EcommerceStreamRecord>;
  }
}

詳細は「Typed Pipeline bindings」を参照してください。

Pipelines のセットアップ改善

新しい Pipeline のセットアップはこれまで複数の手順を要していました：R2 バケットの作成、R2 Data Catalog の有効化、API トークンの生成、フォーマット／圧縮／ロールリングポリシーの個別設定など。

wrangler pipelines setup コマンドは、推奨されるデフォルトを適用する Simple setup モードを提供するようになり、必要に応じて R2 バケットを自動作成し、R2 Data Catalog を有効化します。セットアップ中に発生したバリデーションエラーはプロセス全体を再起動するのではなく、インラインで再実行できるようになりました。

フルの手順は「Getting started guide」を参照してください。

---

参照:

• User error metrics
• Typed Pipeline bindings
• Getting started guide

© 2026 Cloudflare, Inc.