Puedes leer sin crear un espacio. Créalo solo cuando quieras guardar.
Guardar progresoLección 3 de 5
Object storage y formatos abiertos
Delta Lake, Unity Catalog y los motores de ejecución resuelven problemas distintos y se complementan en una arquitectura gobernada.
17 min aprox.
03OperaciónObject storage y formatos abiertos
Delta Lake, Unity Catalog y los motores de ejecución resuelven problemas distintos y se complementan en una arquitectura gobernada.
+
Object storage y formatos abiertos
Delta Lake, Unity Catalog y los motores de ejecución resuelven problemas distintos y se complementan en una arquitectura gobernada.
Delta Lake define el formato de tabla y las garantías transaccionales. Unity Catalog registra objetos, privilegios, linaje y credenciales. Spark, Photon y los SQL warehouses ejecutan consultas y transformaciones sobre esos objetos.
Una consulta se resuelve primero contra el namespace de Unity Catalog, después se autoriza con la identidad efectiva y finalmente se ejecuta en un recurso de cómputo. Confundir esas capas lleva a conceder permisos en el lugar equivocado o a intentar resolver un problema de layout añadiendo privilegios.
USE CATALOG main;
USE SCHEMA learning;
SELECT count(*) FROM events;El nombre se resuelve en Unity Catalog; la consulta se ejecuta en el compute asociado.
¿Dónde se concede SELECT sobre una tabla?
Profundiza
Delta Lake, Unity Catalog y los motores de ejecución forman capas complementarias con contratos distintos. Delta responde qué archivos componen una versión válida y cómo se confirman cambios. Unity Catalog responde cómo se llama el objeto, quién lo posee, qué principal puede usarlo y de dónde procede. Spark, Photon o un SQL warehouse responden cómo calcular una consulta con recursos concretos. Ninguna capa sustituye a las demás: registrar Parquet en un catálogo no crea transacciones Delta, convertir archivos a Delta no concede SELECT y cambiar de motor no modifica por sí mismo el ownership. El examen suele presentar un síntoma; la habilidad es localizar la capa que tiene autoridad para resolverlo.
Reglas que determinan commits válidos, funcionalidades de lectura y escritura y compatibilidad de clientes.
Distingue una tabla Delta de una simple colección de archivos Parquet.Objeto de Unity Catalog sobre el que pueden evaluarse ownership y privilegios.
Permite aplicar mínimo privilegio al nivel correcto del namespace.Implementación que transforma un plan físico en tareas y operaciones sobre datos.
Explica por qué rendimiento y compatibilidad dependen del compute sin alterar el gobierno lógico.Resumen
Puntos clave
- Delta es formato y protocolo de tabla
- Unity Catalog es gobierno y descubrimiento
- Spark, Photon y SQL warehouses son superficies de ejecución
Evita
- Tratar Unity Catalog como formato de almacenamiento
- Atribuir a Delta la gestión de usuarios y grupos