Saltar al contenido
Lakehouse LabLakehouse LabPreparación Databricks Data Engineer
Módulo 22 · Lección

Pruebas operativas

Contenido abierto

Puedes leer todo sin registrarte. Solo crearemos un perfil anónimo cuando decidas guardar tu progreso.

Lección 5 de 5

Pruebas operativas

La preparación productiva se demuestra con replay, backfill, fallo de calidad, métricas, coste y un runbook ejecutado, no solo con un update exitoso.

Duración
30 min aprox.
Objetivo
La preparación productiva se demuestra con replay, backfill, fallo de calidad, métricas, coste y un runbook ejecutado, no solo con un update exitoso.
Siguiente paso
Continuar con el laboratorio
Ver detalles del módulo

Proyecto de pipeline declarativo

Construye una cadena declarativa con calidad, CDC, orquestación y operación documentada.

Al terminar podrás
  • Entregar datasets incrementales fiables
  • Probar dependencias y reglas
  • Operar fallos y backfills
Ver fuentes y revisión

Metadatos editoriales

Última revisión
21 jul 2026
Nivel
Professional
Ruta relacionada
pipelines
Dominios blueprint
Production pipelines
Estado
Revisión editorial interna
Fuentes principales
Best practices for Spark Declarative Pipelines · Databricks · AUTO CDC APIs · Databricks
Reportar un error
05
Decisión de diseño

Pruebas operativas

La preparación productiva se demuestra con replay, backfill, fallo de calidad, métricas, coste y un runbook ejecutado, no solo con un update exitoso.

Mostrar prerrequisitos
Dificultad
Professional
Prerrequisitos
m21
Reportar un error en esta lección

El equipo prueba una segunda ejecución sin datos, un update CDC fuera de orden, una fila en cuarentena y una caída recuperable. Un backfill de una fecha usa el mismo pipeline/Job y se reconcilia. El event log debe explicar qué flows procesaron filas y qué expectations fallaron.

El runbook identifica owner, SLO, paneles, decisiones de retry, repair o full refresh y rutas de rollback. La entrega incluye consultas de evidencia y límites conocidos. Una demo feliz sin incidente ni recuperación no valida producción.

Modelo mental

Preparación productiva se demuestra con evidencia sobre corrección, recuperación, capacidad, seguridad y operación. Un run exitoso con datos felices solo prueba la ruta más sencilla. La checklist incluye replay determinista, backfill concurrente, schema evolution compatible e incompatible, expectation que falla, sink lento, checkpoint restore, límites de coste y permisos mínimos. Se mide SLA al volumen pico y RTO con un game day. El event log y system tables alimentan dashboards, alertas y atribución de coste. Un runbook describe síntomas, consultas, decisiones seguras, rollback y owners, y otra persona debe poder ejecutarlo sin conocimiento tribal. La promoción usa artefacto versionado, configuración revisada y criterios de aceptación; el rollback conserva tablas y checkpoints anteriores. La preparación también exige reconocer límites: ningún curso garantiza aprobar ni reemplaza práctica, pero el producto debe cubrir mecanismos y decisiones examinables con profundidad autosuficiente.

Criterio de aceptación

Condición medible que una versión debe satisfacer en corrección, rendimiento, recuperación, seguridad y coste antes de promoverse.

Evita decisiones go-live basadas únicamente en un run verde o una revisión informal del código.
Game day

Experimento controlado que introduce fallos representativos y mide alertas, diagnóstico, recuperación, reconciliación y cumplimiento de RTO/RPO.

Transforma supuestos de resiliencia en evidencia y descubre dependencias de conocimiento o permisos antes de un incidente.
Runbook

Procedimiento versionado con síntomas, consultas, decisiones, comandos seguros, criterios de escalado, rollback y responsables de la recuperación.

Reduce tiempo de diagnóstico y permite que la operación no dependa exclusivamente del autor original.
YAMLChecklist de aceptación operativa
acceptance:
  - second_run_adds_zero_duplicates
  - out_of_order_cdc_keeps_highest_sequence
  - invalid_order_is_quarantined_with_reason
  - expectation_metrics_visible_in_event_log
  - one_day_backfill_reconciles_to_manifest
  - repair_run_preserves_successful_outputs
  - rto_under_60_minutes
  - service_principal_has_least_privilege

Cada elemento enlaza a una consulta, run o captura reproducible, no a una marca manual sin evidencia.

Puntos clave

  • Idempotencia se prueba ejecutando dos veces el mismo input.
  • Recuperación se prueba con fallo y checkpoint/estado realista.
  • Aceptación incluye calidad, observabilidad, seguridad y coste además del resultado funcional.

Evita

  • Aceptar el proyecto porque las tablas existen aunque no haya pruebas de reintento o recuperación.
  • Realizar full refresh por defecto sin estimar coste, disponibilidad ni efecto en consumers.

Recuerdo activo

¿Qué prueba distingue idempotencia de una ejecución simplemente exitosa?

Borrador privado · solo en este navegador
5 lecciones pendientes

Fuente revisada · vista externa

Databricks Free Declarative Pipelines

Databricks Free Declarative Pipelines · commit a515370

docs/3-2-building-bronze-sql.md

Lectura en GitHub

Este notebook se abre desde su fuente revisada

El repositorio no permite republicar su contenido dentro de Lakehouse Lab. Conservamos la misma experiencia lateral, la ruta exacta y el commit auditado, y dejamos la lectura en GitHub para respetar la autoría.

Autor
andkret
Licencia
No verificada
Formato
project
Ver notebook en GitHub