Guía de configuración
- Una cuenta de Estuary
- Una o más capturas en Estuary que extraigan datos de las fuentes que quieras
- Una cuenta de ClickHouse Cloud con permisos para ClickPipe
1
Crear una materialización de Estuary
Para mover datos de tus colecciones de origen en Estuary a ClickHouse, primero tendrás que crear una materialización.- En el dashboard de Estuary, ve a la página Destinations.
- Haz clic en + New Materialization.
- Selecciona el conector ClickHouse.
-
Completa la información en las secciones Materialization, Endpoint y Source Collections:
- Materialization Details: Proporciona un nombre único para tu materialización y elige un plano de datos (proveedor cloud y región)
- Endpoint Config: Proporciona un Auth Token seguro
- Source Collections: Vincula una captura existente o selecciona colecciones de datos para exponerlas en ClickHouse
- Haz clic en Next y Save and Publish.
-
En la página de detalles de la materialización, toma nota del nombre completo de tu materialización de ClickHouse. Tendrá un aspecto similar a
your-tenant/your-unique-name/dekaf-clickhouse.
2
Introducir los detalles de conexión de Kafka
Configura un nuevo Kafka ClickPipe en ClickHouse e introduce los detalles de conexión:- En tu dashboard de ClickHouse Cloud, selecciona Data sources.
- Crea un nuevo ClickPipe.
- Elige Apache Kafka como fuente de datos.
-
Introduce los detalles de conexión de Kafka con la información del broker y del schema registry de Estuary:
- Proporciona un nombre para tu ClickPipe
- Para el broker, usa:
dekaf.estuary-data.com:9092 - Deja la autenticación con la opción predeterminada
SASL/PLAIN - Para el usuario, introduce el nombre completo de tu materialización de Estuary (por ejemplo,
your-tenant/your-unique-name/dekaf-clickhouse) - Para la contraseña, introduce el token de autenticación que proporcionaste para tu materialización
-
Activa la opción de schema registry
- Para la URL del schema, usa:
https://dekaf.estuary-data.com - La clave del schema será la misma que la del usuario del broker (el nombre de tu materialización)
- El secreto será el mismo que la contraseña del broker (tu token de autenticación)
- Para la URL del schema, usa:
3
Configurar los datos entrantes
- Selecciona uno de tus Kafka topics (una de tus colecciones de datos de Estuary).
- Elige un offset.
- ClickHouse detectará los mensajes del topic. Puedes continuar a la sección Parse information para configurar la información de tu tabla.
- Elige si quieres crear una tabla nueva o cargar datos en una tabla existente que coincida.
- Asigna los campos de origen a las columnas de la tabla y confirma el nombre de la columna, el tipo y si admite Nullable.
- En la sección final Details and settings, puedes seleccionar permisos para tu usuario dedicado de base de datos.
Recursos adicionales
- Consulta la documentación de materialización de ClickHouse de Estuary.
- Estuary expone los datos como mensajes de Kafka mediante Dekaf. Puedes obtener más información sobre Dekaf aquí.
- Para ver una lista de las fuentes cuyos datos puedes transmitir a ClickHouse con Estuary, consulta los conectores de captura de Estuary.