Puedes leer sin crear un espacio. Créalo solo cuando quieras guardar.
Guardar progresoLección 5 de 5
Quarantine pattern y event log
La operación combina enforcement en el pipeline con Data Quality Monitoring para observar frescura, completitud, distribución y drift en activos de Unity Catalog.
17 min aprox.
05Decisión de diseñoQuarantine pattern y event log
La operación combina enforcement en el pipeline con Data Quality Monitoring para observar frescura, completitud, distribución y drift en activos de Unity Catalog.
+
Quarantine pattern y event log
La operación combina enforcement en el pipeline con Data Quality Monitoring para observar frescura, completitud, distribución y drift en activos de Unity Catalog.
Un conteo absoluto de inválidos confunde crecimiento de volumen con degradación. La tasa `failed / (passed + failed)` por expectation, flow y ventana permite comparar. Expectations observan, descartan o fallan registros dentro del pipeline: son enforcement vinculado al código y al update.
Data Quality Monitoring complementa ese contrato sin modificar las tablas monitorizadas ni añadir trabajo al job productor: anomaly detection aprende patrones históricos para freshness y completeness, y data profiling calcula estadísticas y drift. Se ejecuta en serverless con coste propio. Úsalo para descubrir degradaciones transversales; conserva expectations o reconciliaciones cuando una regla debe bloquear o aislar datos.
SELECT
window_start,
flow_name,
expectation_name,
failed_records,
passed_records,
failed_records / NULLIF(failed_records + passed_records, 0) AS failure_rate
FROM main.ops.pipeline_expectation_metrics
WHERE window_start >= current_timestamp() - INTERVAL 24 HOURS
ORDER BY failure_rate DESC;Define el umbral y la duración mínima de incumplimiento en el runbook, no dentro de una consulta ad hoc.
¿Qué diferencia operacional separa Data Quality Monitoring de una expectation crítica?
Profundiza
Operar calidad significa convertir eventos y reglas en decisiones sostenidas. Los contadores de una expectation se transforman en tasas usando passed más failed como denominador, se agregan por update y se comparan con baselines y SLO. Una sola fila inválida puede ser crítica si afecta identidad; millones pueden ser tolerables si pertenecen a un campo opcional durante una migración acordada. Por eso alertas combinan severidad, proporción, volumen absoluto, duración y segmento. El event log muestra qué ocurrió dentro del pipeline; una tabla de calidad estable conserva tendencias, owners y estado de incidente. El ciclo completo incluye detectar, contener, diagnosticar, remediar, reingresar y prevenir recurrencia. Cambiar una expectation de drop a warn para hacer verde un Job no resuelve el problema: consume o redefine un riesgo y requiere aprobación del contrato.
Proporción de registros fallidos respecto al total evaluado para una regla, update y población comparables claramente identificados.
Normaliza volúmenes, pero debe acompañarse de conteo absoluto y criticidad para valorar el impacto real.Cantidad acordada de incumplimiento tolerable durante una ventana antes de detener, degradar o escalar el producto.
Hace explícito el equilibrio entre disponibilidad y corrección y evita decisiones improvisadas durante incidentes.Estado operativo definido que mantiene parte del servicio mientras etiqueta, limita o retrasa resultados afectados por una anomalía conocida.
Puede preservar utilidad sin presentar datos incompletos como normales, siempre que consumidores comprendan la señal.Resumen
Puntos clave
- Expectations aplican acciones; Data Quality Monitoring observa activos.
- Anomaly detection cubre frescura/completitud; profiling, estadísticas y drift.
- Cada alerta conserva owner, coste, contexto y criterio de cierre.
Evita
- Sustituir una regla crítica de enforcement por una anomalía observacional que no bloquea publicación.
- Activar profiling masivo sin owner, coste serverless o control de acceso a sus tablas métricas.