OpenAICloudflare Developer PlatformApr 20, 2026, 12:00 AM

Logs, Pipelines - Cloudflare Pipelines as a Logpush destination

A condensed section focused on the key takeaways first.

Original Post

Quick Digest

Summary

A condensed section focused on the key takeaways first.

openaienmodel: gpt-5-mini-2025-08-07

Cloudflare Pipelines as a Logpush destination

Key Points

  • Logpush destination: Pipelines
  • Store logs as Parquet or Iceberg in R2
  • Transform logs in-flight with Pipelines SQL

Summary

Cloudflare Logpush can now send logs directly to Pipelines, enabling ingestion, transformation, and storage in R2 as Parquet files or Apache Iceberg tables managed by R2 Data Catalog. This reduces storage footprint and improves query performance with R2 SQL or any engine that supports Iceberg/Parquet.

Key Points

  • Logpush → Pipelines: send Cloudflare logs directly to Pipelines as a Logpush destination.
  • Storage formats: write compact Parquet files or managed Apache Iceberg tables in R2 (R2 Data Catalog).
  • In-flight transforms: Pipelines SQL runs per-record to drop fields, redact sensitive values, derive columns, convert timestamps, hash values, extract JSON, apply regex, and use conditional logic.
  • Querying: query logs instantly with R2 SQL or any Iceberg/Parquet-compatible query engine.
  • Operational benefit: lower storage footprint and faster analytics at scale.

Getting started

  • Configure Pipelines as a Logpush destination using the Cloudflare documentation (Enable Cloudflare Pipelines).

Full Translation

Translations

A translation section that keeps the flow of the original article.

openaijamodel: gpt-5-mini-2025-08-07

ログ、パイプライン - Logpush 宛先としての Cloudflare Pipelines

Changelog Cloudflare の新機能と改善。RSS を購読する • RSS フィードを見る ← すべての投稿に戻る

Logpush 宛先としての Cloudflare Pipelines

公開日: 2026-04-20

カテゴリ: Logs, Pipelines

Logpush はこれまで JSON 形式で Cloudflare のログをさまざまな宛先に配信するのに優れていました。JSON は柔軟で読みやすい一方で、大規模に保存・クエリを行うには非効率な場合があります。本リリースにより、ログを直接 Pipelines に送信して取り込み、変換し、R2 Data Catalog によって管理される R2 の Parquet ファイルまたは Apache Iceberg テーブルとして保存できるようになりました。これによりデータのフットプリントがよりコンパクトになり、R2 SQL や Apache Iceberg/Parquet をサポートする任意のクエリエンジンでログを即座に効率よく照会できるようになります。

保存前にログを変換

Pipelines SQL は各ログレコードに対してインフライトで実行されるため、書き込まれる前にデータの形を整えることができます。たとえば、ノイズとなるフィールドを削除したり、機微な値をマスクしたり、新しい列を派生させることが可能です。例:

INSERT INTO http_logs_sink
SELECT ClientIP, EdgeResponseStatus, to_timestamp_micros(EdgeStartTimestamp) AS event_time, upper (ClientRequestMethod) AS method, sha256(ClientIP) AS hashed_ip
FROM http_logs_stream
WHERE EdgeResponseStatus >= 400;

Pipelines SQL は文字列関数、正規表現、ハッシュ化、JSON 抽出、タイムスタンプ変換、条件式などをサポートします。サポートされている関数の完全な一覧は Pipelines SQL リファレンス を参照してください。

はじめに

Pipelines を Logpush の宛先として構成する方法については、Enable Cloudflare Pipelines を参照してください。


リソース

  • API
  • New to Cloudflare?
  • Directory
  • Sponsorships
  • Open Source
  • Support
  • Help Center
  • System Status
  • Compliance
  • GDPR

会社情報

  • cloudflare.com
  • Our team
  • Careers
  • Tools
  • Cloudflare Radar
  • Speed Test
  • Is BGP Safe Yet?
  • RPKI Toolkit
  • Certificate Transparency
  • Community
  • X
  • Discord
  • YouTube
  • GitHub

© 2026 Cloudflare, Inc. プライバシーポリシー 利用規約 セキュリティ問題を報告 商標 Cookie 設定

この記事は役に立ちましたか? はい / いいえ

Logs, Pipelines - Cloudflare Pipelines as a Logpush destination | Cloudflare Developer Platform | DocsDigest