Puedes leer sin crear un espacio. Créalo solo cuando quieras guardar.
Guardar progresoLección 2 de 5
Pipeline batch y streaming
Diseña un flujo end-to-end idempotente desde ingestión y CDC hasta modelos curados, con backfill y evolución de esquema ensayados.
21 min aprox.
02ImplementaciónPipeline batch y streaming
Diseña un flujo end-to-end idempotente desde ingestión y CDC hasta modelos curados, con backfill y evolución de esquema ensayados.
+
Pipeline batch y streaming
Diseña un flujo end-to-end idempotente desde ingestión y CDC hasta modelos curados, con backfill y evolución de esquema ensayados.
La ingesta incremental conserva progreso mediante checkpoint o estado del conector; bronze retiene hechos crudos suficientes para replay; silver aplica contratos, deduplicación y CDC; gold sirve modelos de consumo. Cada escritura usa una clave de negocio y semántica de retry conocida. Los datos tardíos, deletes y cambios de esquema tienen una política explícita, no un comportamiento accidental.
Prueba replay y backfill antes de producción. Un pipeline vivo y un backfill no deben competir por el mismo rango sin coordinación. Usa `MERGE` o la API actual `AUTO CDC` —`APPLY CHANGES` en código legado— según la herramienta y orden de secuencia, conserva cuarentena para incumplimientos y reconcilia conteos/importe entre capas. Versiona cambios incompatibles del contrato.
MERGE INTO prod.silver.orders AS target
USING staging.orders_cdc AS source
ON target.order_id = source.order_id
WHEN MATCHED AND source.op = 'DELETE' THEN DELETE
WHEN MATCHED AND source.sequence_ts > target.sequence_ts THEN UPDATE SET *
WHEN NOT MATCHED AND source.op <> 'DELETE' THEN INSERT *;Deduplica previamente múltiples eventos por clave/secuencia y define qué hacer con eventos fuera de orden.
¿Qué tres elementos mínimos necesita un CDC determinista?
Profundiza
Un flujo end-to-end correcto mantiene identidad y orden del cambio desde la fuente hasta el modelo curado. Batch y CDC pueden solaparse durante bootstrap; schema puede evolucionar; eventos pueden repetirse o llegar tarde. La idempotencia se diseña con claves de negocio, secuencia, checkpoints y operaciones declarativas como AUTO CDC o MERGE determinista, no confiando en que una ejecución ocurra una sola vez. Bronze preserva evidencia y metadatos de ingestión; silver aplica contrato, deduplicación y cambios; gold publica semántica de consumidor. Un backfill usa el mismo contrato o una ruta compatible, con intervalo, snapshot y versión registrados. La convergencia se demuestra mediante reconciliación, no por ausencia de excepciones.
Propiedad por la que procesamiento normal, retries y backfills alcanzan el mismo estado correcto para una entrada lógica equivalente.
Demuestra idempotencia real y permite recuperación sin depender de una secuencia perfecta de ejecuciones.Expresión de orden usada por una operación CDC para decidir qué cambio es posterior para cada clave de negocio.
Resuelve llegadas fuera de orden de forma determinista y evita que un evento antiguo sobrescriba estado reciente.Carga inicial que establece un estado completo antes de aplicar cambios incrementales continuos desde una frontera coordinada.
Un solapamiento o hueco entre snapshot y CDC crea duplicados o pérdida histórica difícil de detectar después.Resumen
Puntos clave
- Checkpoint más bronze reproducible permiten recuperación sin volver al origen cuando la retención lo permite.
- CDC necesita clave, secuencia y semántica de deletes.
- Backfill se diseña y prueba como un modo operativo de primera clase.
Evita
- Borrar checkpoint para forzar un replay sin comprobar retención y side effects.
- Aplicar CDC sin una secuencia determinista y sobrescribir un estado nuevo con un evento tardío.