Puedes leer sin crear un espacio. Créalo solo cuando quieras guardar.
Guardar progresoLección 3 de 5
Construcción del pipeline
La implementación debe ser idempotente, parametrizada y observable.
30 min aprox.
03OperaciónConstrucción del pipeline
La implementación debe ser idempotente, parametrizada y observable.
+
Construcción del pipeline
La implementación debe ser idempotente, parametrizada y observable.
COPY INTO/Auto Loader ingiere, DataFrames conforman y Jobs coordina.
Cada escritura se prueba con segundo run y datos inválidos.
SELECT count(*) rows, count(DISTINCT order_id) ids
FROM main.silver.orders;Si grain no es pedido, usa la clave correcta.
¿Cómo demuestras idempotencia?
Profundiza
Una implementación confiable es idempotente, parametrizada, observable y comprobable. Idempotente significa que la misma entrada repetida converge al mismo estado lógico; parametrizada significa que fecha, catálogo y modo se declaran sin editar código; observable significa que cada run publica métricas y contexto; comprobable significa que tests y reconciliaciones detectan desviaciones. COPY INTO o Auto Loader resuelven progreso de archivos, no duplicados de negocio. DataFrames expresan transformación; Delta MERGE o reemplazo acotado define escrituras; Jobs coordina. La prueba decisiva ejecuta dos veces, introduce un fallo después de un efecto parcial y demuestra que la recuperación no cambia conteos ni métricas correctas.
Propiedad por la que reejecutar una entrada identificable conserva una única representación correcta de cada entidad o evento.
Completa las garantías técnicas de archivos y commits con la semántica necesaria para retries productivos seguros.Comprobación que relaciona unidades de origen, filas válidas, rechazos, cambios aplicados y resultados publicados durante un run.
Detecta pérdidas y multiplicaciones que podrían pasar inadvertidas aunque todas las tareas terminen con estado SUCCESS.Experimento controlado que interrumpe una ejecución en un punto relevante y verifica reanudación y estado final.
Demuestra recuperación real en vez de asumirla a partir de una configuración de retries no ejercitada.Resumen
Puntos clave
- Replay
- Parámetros
- Métricas
Evita
- Validar solo happy path
- Append no idempotente