DocsDigest
Back to listLanguage: JA
OpenAICloudflare Developer PlatformFeb 24, 2026, 12:00 AM

Pipelines, Workers - Dropped event metrics, typed Pipelines bindings, and improved setup

A condensed section focused on the key takeaways first.

Original Post
OpenAIClaude

Quick Digest

Summary

A condensed section focused on the key takeaways first.

openaienmodel: gpt-5-mini-2025-08-07

Pipelines, Workers - Dropped event metrics, typed Pipelines bindings, and improved setup

pipelinesworkerstypescriptmetricsr2graphqlwrangler

Key Points

  • Dropped-event metrics and GraphQL dataset
  • Schema-specific TypeScript Pipeline bindings
  • Simplified wrangler pipelines setup (auto R2/Data Catalog)

Summary

Cloudflare Pipelines shipped three practical improvements: observability for dropped streaming events, generated TypeScript bindings for Pipeline schemas, and a simplified wrangler setup flow that automates R2 and Data Catalog creation.

Key Points

  • Dropped event metrics

    • Pipelines now surfaces dropped events (events accepted at ingestion but dropped at delivery) via a dashboard and new metrics.
    • You can query dropped-event details programmatically using the pipelinesUserErrorsAdaptiveGroups GraphQL dataset to see counts grouped by errorFamily/errorType.
    • Common error types include: missing_field, type_mismatch, parse_failure, and null_value.

  • Typed Pipelines bindings

    • wrangler types generates schema-specific TypeScript types for Pipeline bindings so missing fields and incorrect types are caught at compile time instead of as runtime dropped events.
    • Update your Worker Env interface to use the generated Pipeline<T> binding to get type safety for records.

  • Improved Pipelines setup

    • wrangler pipelines setup now has a Simple setup mode that applies recommended defaults, auto-creates the R2 bucket, and enables R2 Data Catalog if needed.
    • Validation errors during setup now prompt inline retry rather than forcing a full restart.

Action items for engineers

  • Inspect the new dropped-event dashboard and query pipelinesUserErrorsAdaptiveGroups for root-cause analysis over a time range.
  • Run wrangler types and adopt generated Pipeline<T> types in your Worker Env to catch schema issues at build time.
  • Use the wrangler pipelines setup Simple mode when creating new pipelines to automate R2 and Data Catalog provisioning and reduce manual steps.

References

  • See the Pipelines docs for GraphQL examples, Typed Pipeline bindings, and the Getting started guide for setup details.

Full Translation

Translations

A translation section that keeps the flow of the original article.

openaijamodel: gpt-5-mini-2025-08-07

Pipelines、Workers — ドロップされたイベントのメトリクス、型付きPipelinesバインディング、およびセットアップの改善

概要

Cloudflare Pipelines は Workers や HTTP エンドポイントからストリーミングデータを取り込み、SQL で変換して R2 に Apache Iceberg テーブルとして書き込みます。本日、ストリーミングイベントがドロップされる理由の可視化、データ品質問題の早期検出、Pipelines のセットアップ時間短縮を目的とした 3 つの改善をリリースしました。

ドロップされたイベントのメトリクス

ストリームイベントが期待されるスキーマと一致しない場合、Pipelines は取り込み時に受け入れますが、シンクへ配信しようとした際にドロップされます。この問題の根本原因を特定しやすくするため、新しいダッシュボードと詳細なエラーメッセージを含むメトリクスを導入しました。ドロップされたイベントはプログラムからも新しい datasets: pipelinesUserErrorsAdaptiveGroups を通じて照会できます。

このデータセットは失敗を具体的なエラータイプごと（missing_field、type_mismatch、parse_failure、null_value）に分類するため、問題を発生源までたどれます。

クエリ例（GraphQL）:

query GetPipelineUserErrors ( $accountTag : String ! $pipelineId : String ! $datetimeStart : Time ! $datetimeEnd : Time ! ) { viewer { accounts( filter : { accountTag : $accountTag }) { pipelinesUserErrorsAdaptiveGroups( limit : 100 filter : { pipelineId : $pipelineId datetime_geq : $datetimeStart datetime_leq : $datetimeEnd } orderBy : [ count_DESC ] ) { count dimensions { errorFamily errorType } } } } }

主なエラータイプ:

  • missing_field
  • type_mismatch
  • parse_failure
  • null_value

完全なディメンション一覧、エラータイプ、追加のクエリ例は「User error metrics」を参照してください。

型付き Pipelines バインディング

これまで Worker から Pipeline にデータを送る際は汎用の Pipeline<PipelineRecord> 型が使われており、フィールド名の誤りや型の不一致などのスキーマ不整合は実行時にドロップイベントとしてしか検出されませんでした。

wrangler types を実行すると、Pipeline バインディング向けにスキーマ固有の TypeScript 型が生成されるようになりました。TypeScript により、必須フィールドの欠落やフィールド型の不一致はデプロイ前のコンパイル時に検出できます。

TypeScript の例:

declare namespace Cloudflare {
  type EcommerceStreamRecord = {
    user_id: string;
    event_type: string;
    product_id?: string;
    amount?: number;
  };
  interface Env {
    STREAM: import("cloudflare:pipelines").Pipeline<Cloudflare.EcommerceStreamRecord>;
  }
}

詳細は「Typed Pipeline bindings」を参照してください。

Pipelines のセットアップ改善

新しい Pipeline のセットアップはこれまで複数の手順を要していました：R2 バケットの作成、R2 Data Catalog の有効化、API トークンの生成、フォーマット／圧縮／ロールリングポリシーの個別設定など。

wrangler pipelines setup コマンドは、推奨されるデフォルトを適用する Simple setup モードを提供するようになり、必要に応じて R2 バケットを自動作成し、R2 Data Catalog を有効化します。セットアップ中に発生したバリデーションエラーはプロセス全体を再起動するのではなく、インラインで再実行できるようになりました。

フルの手順は「Getting started guide」を参照してください。

参照:

  • User error metrics
  • Typed Pipeline bindings
  • Getting started guide

© 2026 Cloudflare, Inc.