Puedes leer todo sin registrarte. Solo crearemos un perfil anónimo cuando decidas guardar tu progreso.
Lección 5 de 5
Metadatos, errores y cuarentena
Una landing gobernada conserva origen, lote y evidencia para replay.
- Duración
- 17 min aprox.
- Objetivo
- Una landing gobernada conserva origen, lote y evidencia para replay.
- Siguiente paso
- Continuar con el laboratorio
Ver detalles del módulo
Ingesta batch, formatos, COPY INTO, JDBC y REST
Elige una vía de entrada reproducible para archivos, bases de datos y APIs.
- Comparar cargas completas e incrementales
- Usar COPY INTO de forma idempotente
- Controlar formatos, compresión y metadatos de origen
05Decisión de diseñoMetadatos, errores y cuarentena
Una landing gobernada conserva origen, lote y evidencia para replay.
+
Metadatos, errores y cuarentena
Una landing gobernada conserva origen, lote y evidencia para replay.
Volumes ofrecen rutas de archivos bajo Unity Catalog; tablas Bronze organizan registros con metadatos de ingestión.
La idempotencia se demuestra repitiendo el mismo lote y comparando filas, claves y commits, no solo ausencia de error.
Modelo mental
Landing es una frontera durable entre recepción y procesamiento. Conserva los bytes entregados, identidad del objeto, tiempo, productor, lote y, cuando procede, checksum o metadatos de transporte. No es un vertedero anónimo ni necesariamente una tabla para analistas. Su propósito es demostrar qué llegó y permitir replay cuando cambia la lógica Silver o falla un proceso posterior. Unity Catalog Volumes y external locations gobiernan rutas y evitan credenciales en código. La estructura de carpetas puede ayudar a operación, pero no debe sustituir un manifiesto y metadatos consultables. Retención, cifrado, clasificación y acceso se definen según sensibilidad y capacidad de reextracción.
Área gobernada donde se conserva la representación recibida antes de transformaciones irreversibles.
Desacopla disponibilidad de la fuente y permite replay verificable.Registro de objetos esperados y observados con tamaño, checksum, lote y estado.
Permite reconciliar transferencias y detectar archivos ausentes o alterados.Información que relaciona un dato con productor, objeto, instante y proceso de origen.
Sustenta auditoría y localización de errores a lo largo del pipeline.SELECT *, _metadata.file_path, _metadata.file_modification_time
FROM read_files('/Volumes/main/landing/orders', format => 'json');Persiste los metadatos necesarios para investigar duplicados.
Puntos clave
- Volumes gobiernan archivos
- Bronze conserva metadata
- Replay debe probarse
Evita
- Guardar landing en ruta personal
- Declarar idempotencia sin segundo run
Recuerdo activo