Puedes leer sin crear un espacio. Créalo solo cuando quieras guardar.
Guardar progresoLección 2 de 5
Directory listing y file notification
Directory listing simplifica; file notification reduce listados a gran escala.
17 min aprox.
02ImplementaciónDirectory listing y file notification
Directory listing simplifica; file notification reduce listados a gran escala.
+
Directory listing y file notification
Directory listing simplifica; file notification reduce listados a gran escala.
El modo de descubrimiento se elige por volumen y configuración cloud; ambos necesitan permisos correctos.
rescuedDataColumn conserva campos que no encajan y permite estudiar evolución sin perder payload.
stream = (spark.readStream.format("cloudFiles")
.option("cloudFiles.format", "json")
.option("rescuedDataColumn", "_rescued_data")
.load(landing_path))Alerta si crece _rescued_data.
¿Para qué sirve _rescued_data?
Profundiza
Directory listing y file notification son estrategias para encontrar archivos, no formatos de entrada ni garantías de entrega final. El listado consulta la jerarquía de object storage y compara resultados con estado; es sencillo y funciona sin infraestructura de eventos, pero su coste de enumeración crece con rutas enormes. Las notificaciones aprovechan eventos cloud y colas para señalar objetos nuevos, reduciendo listados a escala, a cambio de permisos y componentes adicionales. Auto Loader administra el estado de archivos en ambos casos. La elección depende de número total de objetos, tasa de llegada, SLA, restricciones de red y capacidad operativa. Un evento de notificación no sustituye la validación del objeto ni el commit del sink.
Descubrimiento que enumera objetos bajo una ruta y compara sus metadatos con el estado incremental previamente conservado.
Ofrece menor complejidad inicial, pero puede convertirse en el coste dominante cuando la jerarquía acumula millones de archivos.Descubrimiento basado en eventos cloud que anuncian la creación de objetos mediante una cola o servicio equivalente.
Reduce enumeraciones masivas, aunque añade configuración de identidad, eventos y operación de la infraestructura asociada.Señal potencialmente duplicada o desordenada que identifica un objeto candidato, no una confirmación de procesamiento completo.
Obliga a conservar estado y verificar el archivo antes de considerar que los datos llegaron correctamente al destino.Resumen
Puntos clave
- Listing requiere menos infraestructura
- Notifications escalan descubrimiento
- Rescued data preserva anomalías
Evita
- Ignorar rescued data
- Cambiar esquema sin probar checkpoint