openaijamodel: gpt-5-mini-2025-08-07
Cloudflare Pipelines を Logpush 宛先として使用可能に
Key Points
- Logpush を Pipelines 宛先に
- R2 に Parquet/Iceberg で保存
- Pipelines SQL でインライン変換
Summary
Cloudflare Logpush の出力先として Pipelines を直接指定できるようになりました。Pipelines は受信したログをインフライトで Pipelines SQL により変換し、R2 に Parquet ファイルや Apache Iceberg テーブル（R2 Data Catalog 管理）として格納します。これによりストレージ効率が向上し、R2 SQL や Iceberg/Parquet 対応のクエリエンジンで即時に検索できます。
Key Points
- Logpush → Pipelines: Logpush の出力先に Pipelines を設定して直接取り込み可能。
- ストレージ形式: R2 に Parquet または Apache Iceberg 形式で保存し、フットプリントとクエリ性能を改善。
- インライン変換: Pipelines SQL が各レコードに対して実行され、ノイズフィールド削除、機微データのマスキング、派生カラム作成などが可能。
- サポート関数: 文字列関数、正規表現、ハッシュ、JSON 抽出、タイムスタンプ変換、条件式など。
- クエリ: 保存後は R2 SQL や Iceberg 対応の外部クエリエンジンで高速に検索可能。
- 設定方法: 管理画面または API で Logpush の宛先に Pipelines を指定し、Pipelines 側で SQL を定義してください。
例（簡略）: INSERT INTO http_logs_sink SELECT ClientIP, EdgeResponseStatus, to_timestamp_micros(EdgeStartTimestamp) AS event_time, upper(ClientRequestMethod) AS method, sha256(ClientIP) AS hashed_ip FROM http_logs_stream WHERE EdgeResponseStatus >= 400;
参考: 設定は「Enable Cloudflare Pipelines」を参照してください。