ClaudeCloudflare Developer PlatformApr 20, 2026, 12:00 AM

Logs, Pipelines - Cloudflare Pipelines as a Logpush destination

A condensed section focused on the key takeaways first.

Original Post

Quick Digest

Summary

A condensed section focused on the key takeaways first.

claudeenmodel: claude-haiku-4-5

Cloudflare Pipelines Now Available as Logpush Destination

Key Points

  • Pipelines as Logpush destination for efficient log storage
  • In-flight SQL transformations before R2 storage
  • Parquet and Apache Iceberg table support

Summary

Cloudflare Logpush now supports Pipelines as a destination, enabling direct log ingestion, transformation, and storage in R2 as Parquet files or Apache Iceberg tables. This replaces traditional JSON delivery with a more storage-efficient and query-optimized approach.

Key Points

  • Send logs directly to Pipelines for in-flight transformation before storage in R2
  • Store logs as Parquet files or Apache Iceberg tables managed by R2 Data Catalog
  • Query logs instantly using R2 SQL or any Apache Iceberg/Parquet-compatible query engine
  • Transform logs using Pipelines SQL with support for string functions, regex, hashing, JSON extraction, timestamp conversion, and conditional expressions
  • Example use cases: drop noisy fields, redact sensitive values, derive new columns
  • Reduces data footprint and improves query efficiency compared to JSON format

Full Translation

Translations

A translation section that keeps the flow of the original article.

claudejamodel: claude-haiku-4-5

Logpushの宛先としてのCloudflare Pipelines

Logpushの宛先としてのCloudflare Pipelines

公開日: 2026年4月20日

カテゴリ: Logs、Pipelines

概要

Logpushは従来、JSON形式でCloudflareログをさまざまな宛先に配信するのに優れていました。JSONは柔軟で読みやすいですが、大規模での保存とクエリが非効率になる可能性があります。このリリースでは、ログをPipelinesに直接送信して、ログを取り込み、変換し、R2にParquetファイルまたはR2 Data Catalogで管理されるApache Icebergテーブルとして保存できるようになりました。これにより、データフットプリントがよりコンパクトになり、R2 SQLまたはApache IcebergやParquetをサポートする他のクエリエンジンでログを効率的にクエリできます。

ストレージ前のログ変換

Pipelines SQLは各ログレコードに対してインフライトで実行されるため、データを書き込む前に再構成できます。たとえば、ノイズの多いフィールドを削除したり、機密値をマスクしたり、新しい列を派生させたりできます:

INSERT INTO http_logs_sink
SELECT
  ClientIP,
  EdgeResponseStatus,
  to_timestamp_micros(EdgeStartTimestamp) AS event_time,
  upper(ClientRequestMethod) AS method,
  sha256(ClientIP) AS hashed_ip
FROM http_logs_stream
WHERE EdgeResponseStatus >= 400;

Pipelines SQLは、文字列関数、正規表現、ハッシング、JSON抽出、タイムスタンプ変換、条件式などをサポートしています。完全なリストについては、Pipelines SQLリファレンスを参照してください。

開始方法

PipelinesをLogpushの宛先として構成するには、「Enable Cloudflare Pipelines」を参照してください。

リソース

  • API
  • Cloudflareは初めてですか?
  • ディレクトリ
  • スポンサーシップ
  • オープンソース
  • サポート
  • ヘルプセンター
  • システムステータス
  • コンプライアンス
  • GDPR

企業

  • cloudflare.com
  • 私たちのチーム
  • キャリア

ツール

  • Cloudflare Radar
  • Speed Test
  • Is BGP Safe Yet?
  • RPKI Toolkit
  • Certificate Transparency

コミュニティ

  • X
  • Discord
  • YouTube
  • GitHub

© 2026 Cloudflare, Inc.

  • プライバシーポリシー
  • 利用規約
  • セキュリティ問題を報告
  • 商標
  • Cookie設定

このページは役に立ちましたか? はい / いいえ