Saltar al contenido

Proyecto pipelines

Menú

Puedes leer sin crear un espacio. Créalo solo cuando quieras guardar.

Guardar progreso

Lección 5 de 5

Pruebas operativas

La preparación productiva se demuestra con replay, backfill, fallo de calidad, métricas, coste y un runbook ejecutado, no solo con un update exitoso.

30 min aprox.

Detalles

Proyecto de pipeline declarativo

Construye una cadena declarativa con calidad, CDC, orquestación y operación documentada.

Reto observable

Entrega un pipeline declarativo productivo con calidad, CDC y operación, y demuestra despliegue, backfill, fallo controlado y recuperación.

Al terminar podrás
  • Entregar datasets incrementales fiables
  • Probar dependencias y reglas
  • Operar fallos y backfills
Prerrequisitos
m21
Última revisión
25 ago 2026
Nivel
Professional
Ruta relacionada
pipelines
Dominios blueprint
Production pipelines
Estado
Revisión editorial interna
Fuentes principales
Best practices for Spark Declarative Pipelines · Databricks · AUTO CDC APIs · Databricks
Reportar un error
05
Decisión de diseño

Pruebas operativas

La preparación productiva se demuestra con replay, backfill, fallo de calidad, métricas, coste y un runbook ejecutado, no solo con un update exitoso.

El equipo prueba una segunda ejecución sin datos, un update CDC fuera de orden, una fila en cuarentena y una caída recuperable. Un backfill de una fecha usa el mismo pipeline/Job y se reconcilia. El event log debe explicar qué flows procesaron filas y qué expectations fallaron.

El runbook identifica owner, SLO, paneles, decisiones de retry, repair o full refresh y rutas de rollback. La entrega incluye consultas de evidencia y límites conocidos. Una demo feliz sin incidente ni recuperación no valida producción.

YAMLChecklist de aceptación operativa
acceptance:
  - second_run_adds_zero_duplicates
  - out_of_order_cdc_keeps_highest_sequence
  - invalid_order_is_quarantined_with_reason
  - expectation_metrics_visible_in_event_log
  - one_day_backfill_reconciles_to_manifest
  - repair_run_preserves_successful_outputs
  - rto_under_60_minutes
  - service_principal_has_least_privilege

Cada elemento enlaza a una consulta, run o captura reproducible, no a una marca manual sin evidencia.

¿Qué prueba distingue idempotencia de una ejecución simplemente exitosa?

Profundiza

Preparación productiva se demuestra con evidencia sobre corrección, recuperación, capacidad, seguridad y operación. Un run exitoso con datos felices solo prueba la ruta más sencilla. La checklist incluye replay determinista, backfill concurrente, schema evolution compatible e incompatible, expectation que falla, sink lento, checkpoint restore, límites de coste y permisos mínimos. Se mide SLA al volumen pico y RTO con un game day. El event log y system tables alimentan dashboards, alertas y atribución de coste. Un runbook describe síntomas, consultas, decisiones seguras, rollback y owners, y otra persona debe poder ejecutarlo sin conocimiento tribal. La promoción usa artefacto versionado, configuración revisada y criterios de aceptación; el rollback conserva tablas y checkpoints anteriores. La preparación también exige reconocer límites: ningún curso garantiza aprobar ni reemplaza práctica, pero el producto debe cubrir mecanismos y decisiones examinables con profundidad autosuficiente.

Criterio de aceptación

Condición medible que una versión debe satisfacer en corrección, rendimiento, recuperación, seguridad y coste antes de promoverse.

Evita decisiones go-live basadas únicamente en un run verde o una revisión informal del código.
Game day

Experimento controlado que introduce fallos representativos y mide alertas, diagnóstico, recuperación, reconciliación y cumplimiento de RTO/RPO.

Transforma supuestos de resiliencia en evidencia y descubre dependencias de conocimiento o permisos antes de un incidente.
Runbook

Procedimiento versionado con síntomas, consultas, decisiones, comandos seguros, criterios de escalado, rollback y responsables de la recuperación.

Reduce tiempo de diagnóstico y permite que la operación no dependa exclusivamente del autor original.
Resumen

Puntos clave

  • Idempotencia se prueba ejecutando dos veces el mismo input.
  • Recuperación se prueba con fallo y checkpoint/estado realista.
  • Aceptación incluye calidad, observabilidad, seguridad y coste además del resultado funcional.

Evita

  • Aceptar el proyecto porque las tablas existen aunque no haya pruebas de reintento o recuperación.
  • Realizar full refresh por defecto sin estimar coste, disponibilidad ni efecto en consumers.

Fuente revisada · vista externa

Databricks Free Declarative Pipelines

Databricks Free Declarative Pipelines · commit a515370

docs/3-2-building-bronze-sql.md

Lectura en GitHub

Este notebook se abre desde su fuente revisada

El repositorio no permite republicar su contenido dentro de Lakehouse Lab. Conservamos la misma experiencia lateral, la ruta exacta y el commit auditado, y dejamos la lectura en GitHub para respetar la autoría.

Autor
andkret
Licencia
No verificada
Formato
project
Ver notebook en GitHub ↗

Módulo 22

Contenido del módulo