Puedes leer todo sin registrarte. Solo crearemos un perfil anónimo cuando decidas guardar tu progreso.
Lección 3 de 5
Construcción del pipeline
La implementación debe ser idempotente, parametrizada y observable.
- Duración
- 30 min aprox.
- Objetivo
- La implementación debe ser idempotente, parametrizada y observable.
- Siguiente paso
- Continuar con la siguiente lección
Ver detalles del módulo
Proyecto Associate y simulacro de 45 preguntas
Integra ingesta, transformación, gobierno, Jobs y CI/CD en una solución defendible.
- Entregar un pipeline Associate completo
- Justificar decisiones de arquitectura
- Medir preparación con un simulacro original
03OperaciónConstrucción del pipeline
La implementación debe ser idempotente, parametrizada y observable.
+
Construcción del pipeline
La implementación debe ser idempotente, parametrizada y observable.
COPY INTO/Auto Loader ingiere, DataFrames conforman y Jobs coordina.
Cada escritura se prueba con segundo run y datos inválidos.
Modelo mental
Una implementación confiable es idempotente, parametrizada, observable y comprobable. Idempotente significa que la misma entrada repetida converge al mismo estado lógico; parametrizada significa que fecha, catálogo y modo se declaran sin editar código; observable significa que cada run publica métricas y contexto; comprobable significa que tests y reconciliaciones detectan desviaciones. COPY INTO o Auto Loader resuelven progreso de archivos, no duplicados de negocio. DataFrames expresan transformación; Delta MERGE o reemplazo acotado define escrituras; Jobs coordina. La prueba decisiva ejecuta dos veces, introduce un fallo después de un efecto parcial y demuestra que la recuperación no cambia conteos ni métricas correctas.
Propiedad por la que reejecutar una entrada identificable conserva una única representación correcta de cada entidad o evento.
Completa las garantías técnicas de archivos y commits con la semántica necesaria para retries productivos seguros.Comprobación que relaciona unidades de origen, filas válidas, rechazos, cambios aplicados y resultados publicados durante un run.
Detecta pérdidas y multiplicaciones que podrían pasar inadvertidas aunque todas las tareas terminen con estado SUCCESS.Experimento controlado que interrumpe una ejecución en un punto relevante y verifica reanudación y estado final.
Demuestra recuperación real en vez de asumirla a partir de una configuración de retries no ejercitada.SELECT count(*) rows, count(DISTINCT order_id) ids
FROM main.silver.orders;Si grain no es pedido, usa la clave correcta.
Puntos clave
- Replay
- Parámetros
- Métricas
Evita
- Validar solo happy path
- Append no idempotente
Recuerdo activo