Pipelines と R2 Data Catalog が Terraform でサポートされるようになりました

公開日: 2026-05-04

概要

Cloudflare Pipelines は Workers または HTTP エンドポイント経由でストリーミングデータを取り込み、SQL で変換し、Apache Iceberg テーブルとして R2 に書き込みます。R2 Data Catalog はそれらの Iceberg テーブル、コンパクション、および R2 SQL、Spark、DuckDB といったクエリエンジンとの互換性を管理します。

Terraform サポート

これらの製品は Terraform で作成・管理できるようになりました。Cloudflare Terraform provider v5.19.0 ↗ でサポートされています。本リリースでは、データカタログ、取り込み用のストリーム、R2 Data Catalog/R2 に書き込むシンク、SQL でそれらを接続するパイプラインの 4 種類の新しいリソースが追加され、データパイプライン全体をインフラストラクチャとしてコード化できます。

新しい Terraform リソース

• cloudflare_r2_data_catalog ↗ — R2 バケット上でデータカタログを有効化
• cloudflare_pipeline_stream ↗ — HTTP や Worker バインディング経由でイベントを受け取るストリームを作成
• cloudflare_pipeline_sink ↗ — R2 Data Catalog または R2 に書き込むシンクを作成
• cloudflare_pipeline ↗ — ストリームとシンクを SQL で接続するパイプラインを作成

最小の例

以下はストリーム、R2 Data Catalog シンク、パイプラインを作成する最小の例です。

resource "cloudflare_pipeline_stream" "my_stream" {
  account_id = var . cloudflare_account_id
  name = "my_stream"
  format = { type = "json" }
  schema = { fields = [ { name = "value" type = "json" required = true } ] }
  http = { enabled = true , authentication = false , cors = {} }
  worker_binding = { enabled = false }
}
resource "cloudflare_pipeline_sink" "my_sink" {
  account_id = var . cloudflare_account_id
  name = "my_sink"
  type = "r2_data_catalog"
  format = { type = "parquet" }
  schema = { fields = [] }
  config = { account_id = var.cloudflare_account_id bucket = "my-pipeline-bucket" table_name = "my_table" token = var.catalog_token }
}
resource "cloudflare_pipeline" "my_pipeline" {
  account_id = var . cloudflare_account_id
  name = "my_pipeline"
  sql = "INSERT INTO ${ cloudflare_pipeline_sink . my_sink . name } SELECT * FROM ${ cloudflare_pipeline_stream . my_stream . name } "
}

補足

R2 バケット作成、データカタログ設定、スコープ付き API トークンのプロビジョニングを含む、エンドツーエンドの完全な例については、Pipelines Terraform documentation を参照してください。