Puedes leer sin crear un espacio. Créalo solo cuando quieras guardar.
Guardar progresoLección 5 de 5
Metadatos, errores y cuarentena
Una landing gobernada conserva origen, lote y evidencia para replay.
17 min aprox.
05Decisión de diseñoMetadatos, errores y cuarentena
Una landing gobernada conserva origen, lote y evidencia para replay.
+
Metadatos, errores y cuarentena
Una landing gobernada conserva origen, lote y evidencia para replay.
Volumes ofrecen rutas de archivos bajo Unity Catalog; tablas Bronze organizan registros con metadatos de ingestión.
La idempotencia se demuestra repitiendo el mismo lote y comparando filas, claves y commits, no solo ausencia de error.
SELECT *, _metadata.file_path, _metadata.file_modification_time
FROM read_files('/Volumes/main/landing/orders', format => 'json');Persiste los metadatos necesarios para investigar duplicados.
¿Qué evidencia prueba reintento seguro?
Profundiza
Landing es una frontera durable entre recepción y procesamiento. Conserva los bytes entregados, identidad del objeto, tiempo, productor, lote y, cuando procede, checksum o metadatos de transporte. No es un vertedero anónimo ni necesariamente una tabla para analistas. Su propósito es demostrar qué llegó y permitir replay cuando cambia la lógica Silver o falla un proceso posterior. Unity Catalog Volumes y external locations gobiernan rutas y evitan credenciales en código. La estructura de carpetas puede ayudar a operación, pero no debe sustituir un manifiesto y metadatos consultables. Retención, cifrado, clasificación y acceso se definen según sensibilidad y capacidad de reextracción.
Área gobernada donde se conserva la representación recibida antes de transformaciones irreversibles.
Desacopla disponibilidad de la fuente y permite replay verificable.Registro de objetos esperados y observados con tamaño, checksum, lote y estado.
Permite reconciliar transferencias y detectar archivos ausentes o alterados.Información que relaciona un dato con productor, objeto, instante y proceso de origen.
Sustenta auditoría y localización de errores a lo largo del pipeline.Resumen
Puntos clave
- Volumes gobiernan archivos
- Bronze conserva metadata
- Replay debe probarse
Evita
- Guardar landing en ruta personal
- Declarar idempotencia sin segundo run