Puedes leer todo sin registrarte. Solo crearemos un perfil anónimo cuando decidas guardar tu progreso.
Lección 3 de 5
Object storage y formatos abiertos
Delta Lake, Unity Catalog y los motores de ejecución resuelven problemas distintos y se complementan en una arquitectura gobernada.
- Duración
- 17 min aprox.
- Objetivo
- Delta Lake, Unity Catalog y los motores de ejecución resuelven problemas distintos y se complementan en una arquitectura gobernada.
- Siguiente paso
- Continuar con la siguiente lección
Ver detalles del módulo
Data Intelligence Platform y arquitectura lakehouse
Construye un modelo mental preciso de almacenamiento, cómputo, gobierno y superficies de trabajo.
- Explicar la separación entre storage y compute
- Relacionar Delta Lake, Unity Catalog y motores de ejecución
- Elegir la superficie adecuada para cada carga
03OperaciónObject storage y formatos abiertos
Delta Lake, Unity Catalog y los motores de ejecución resuelven problemas distintos y se complementan en una arquitectura gobernada.
+
Object storage y formatos abiertos
Delta Lake, Unity Catalog y los motores de ejecución resuelven problemas distintos y se complementan en una arquitectura gobernada.
Mostrar prerrequisitos
- Dificultad
- Associate
- Prerrequisitos
- Ninguno obligatorio
Delta Lake define el formato de tabla y las garantías transaccionales. Unity Catalog registra objetos, privilegios, linaje y credenciales. Spark, Photon y los SQL warehouses ejecutan consultas y transformaciones sobre esos objetos.
Una consulta se resuelve primero contra el namespace de Unity Catalog, después se autoriza con la identidad efectiva y finalmente se ejecuta en un recurso de cómputo. Confundir esas capas lleva a conceder permisos en el lugar equivocado o a intentar resolver un problema de layout añadiendo privilegios.
Modelo mental
Delta Lake, Unity Catalog y los motores de ejecución forman capas complementarias con contratos distintos. Delta responde qué archivos componen una versión válida y cómo se confirman cambios. Unity Catalog responde cómo se llama el objeto, quién lo posee, qué principal puede usarlo y de dónde procede. Spark, Photon o un SQL warehouse responden cómo calcular una consulta con recursos concretos. Ninguna capa sustituye a las demás: registrar Parquet en un catálogo no crea transacciones Delta, convertir archivos a Delta no concede SELECT y cambiar de motor no modifica por sí mismo el ownership. El examen suele presentar un síntoma; la habilidad es localizar la capa que tiene autoridad para resolverlo.
Reglas que determinan commits válidos, funcionalidades de lectura y escritura y compatibilidad de clientes.
Distingue una tabla Delta de una simple colección de archivos Parquet.Objeto de Unity Catalog sobre el que pueden evaluarse ownership y privilegios.
Permite aplicar mínimo privilegio al nivel correcto del namespace.Implementación que transforma un plan físico en tareas y operaciones sobre datos.
Explica por qué rendimiento y compatibilidad dependen del compute sin alterar el gobierno lógico.USE CATALOG main;
USE SCHEMA learning;
SELECT count(*) FROM events;El nombre se resuelve en Unity Catalog; la consulta se ejecuta en el compute asociado.
Puntos clave
- Delta es formato y protocolo de tabla
- Unity Catalog es gobierno y descubrimiento
- Spark, Photon y SQL warehouses son superficies de ejecución
Evita
- Tratar Unity Catalog como formato de almacenamiento
- Atribuir a Delta la gestión de usuarios y grupos
Recuerdo activo