セットアップガイド
- Estuary アカウント
- Estuary で目的のソースからデータを取り込む 1 つ以上の capture
- ClickPipe の権限を持つ ClickHouse Cloud アカウント
1
Estuary のマテリアライゼーションを作成する
Estuary のソースコレクションから ClickHouse にデータを移動するには、まず マテリアライゼーション を作成する必要があります。- Estuary のダッシュボードで、Destinations ページに移動します。
- + New Materialization をクリックします。
- ClickHouse コネクタを選択します。
-
Materialization、Endpoint、Source Collections の各セクションで詳細を入力します。
- Materialization Details: マテリアライゼーションに一意の名前を指定し、データプレーン (クラウドプロバイダーとリージョン) を選択します
- Endpoint Config: 安全な Auth Token を指定します
- Source Collections: 既存の capture を関連付けるか、ClickHouse に公開するデータコレクションを選択します
- Next と Save and Publish をクリックします。
-
マテリアライゼーションの詳細ページで、ClickHouse マテリアライゼーションの完全名を控えておきます。これは
your-tenant/your-unique-name/dekaf-clickhouseのような形式になります。
2
Kafka 接続の詳細を入力する
ClickHouse で新しい Kafka ClickPipe を設定し、接続情報を入力します。- ClickHouse Cloud のダッシュボードで、Data sources を選択します。
- 新しい ClickPipe を作成します。
- データソースとして Apache Kafka を選択します。
-
Estuary の broker および registry 情報を使用して、Kafka 接続の詳細を入力します。
- ClickPipe の名前を指定します
- broker には
dekaf.estuary-data.com:9092を使用します - authentication はデフォルトの
SASL/PLAINオプションのままにします - user には、Estuary のマテリアライゼーションの完全名 (例:
your-tenant/your-unique-name/dekaf-clickhouse) を入力します - password には、マテリアライゼーションに指定した auth token を入力します
-
schema registry オプションを有効にします
- schema URL には
https://dekaf.estuary-data.comを使用します - schema key は broker user と同じ値 (マテリアライゼーション名) になります
- secret は broker password と同じ値 (auth token) になります
- schema URL には
3
受信データを設定する
- Kafka の topics の 1 つ (Estuary のデータコレクションの 1 つ) を選択します。
- offset を選択します。
- ClickHouse が topic メッセージを検出します。続いて Parse information セクションに進み、テーブル情報を設定できます。
- 新しいテーブルを作成するか、一致する既存のテーブルにデータをロードするかを選択します。
- ソースのフィールドをテーブルのカラムにマッピングし、カラム名、型、NULL を許可するかどうかを確認します。
- 最後の Details and settings セクションでは、専用の database user に付与する権限を選択できます。
追加リソース
- Estuary の ClickHouse マテリアライゼーション ドキュメント を参照してください。
- Estuary は Dekaf を使ってデータを Kafka メッセージとして公開します。Dekaf の詳細は、こちらを参照してください。
- Estuary を使って ClickHouse にストリーミングできるソースの一覧を確認するには、Estuary の capture コネクタ を参照してください。