Plataforma

La separación entre almacenamiento y cómputo permite conservar una única copia gobernada de los datos y asignar motores distintos a ETL, BI o streaming. El object storage aporta durabilidad y elasticidad; el cómputo se crea, escala y termina según la carga.

Delta Lake añade un registro transaccional sobre archivos Parquet. Así, una tabla puede ofrecer ACID, evolución controlada del esquema e historial sin abandonar un formato accesible por varios motores. El valor no está en juntar productos, sino en reducir copias y fronteras operativas.

DESCRIBE DETAIL main.learning.events;

El plano de control contiene servicios de interfaz, APIs, configuración y orquestación. El plano de cómputo alberga los recursos que ejecutan Spark o SQL y acceden al almacenamiento mediante las identidades configuradas.

En serverless, Databricks gestiona el plano de cómputo y su red; en compute clásico, la organización controla más elementos de la red y de las instancias. Esta diferencia afecta tiempo de arranque, responsabilidad operativa y controles de conectividad, no la ubicación lógica de las tablas en Unity Catalog.

{
  "control_plane": ["workspace config", "jobs orchestration"],
  "compute_plane": ["Spark execution", "data access"]
}

Delta Lake define el formato de tabla y las garantías transaccionales. Unity Catalog registra objetos, privilegios, linaje y credenciales. Spark, Photon y los SQL warehouses ejecutan consultas y transformaciones sobre esos objetos.

Una consulta se resuelve primero contra el namespace de Unity Catalog, después se autoriza con la identidad efectiva y finalmente se ejecuta en un recurso de cómputo. Confundir esas capas lleva a conceder permisos en el lugar equivocado o a intentar resolver un problema de layout añadiendo privilegios.

USE CATALOG main;
USE SCHEMA learning;
SELECT count(*) FROM events;

Un workspace es la superficie de colaboración y ejecución. Un metastore de Unity Catalog gobierna catálogos y se asigna a workspaces; el namespace de tres niveles catalog.schema.object identifica tablas, vistas, funciones y volúmenes.

El workspace no es el propietario físico de una tabla de Unity Catalog. Varios workspaces asociados al mismo metastore pueden descubrir un objeto, aunque workspace bindings, privilegios y conectividad pueden limitar su uso.

SHOW CATALOGS;
SHOW SCHEMAS IN main;
SHOW TABLES IN main.learning;

Los notebooks favorecen exploración y desarrollo interactivo; Lakeflow Jobs ejecuta tareas productivas con dependencias; SQL warehouses atienden SQL y BI concurrente; Spark Declarative Pipelines en Lakeflow gestiona grafos incrementales declarativos.

Antes de seleccionar una superficie, fija SLA, patrón de ejecución, identidad, necesidad de estado y consumidores. Una transformación PySpark exploratoria puede empezar en notebook y terminar empaquetada como tarea de Job sin cambiar la tabla gobernada que produce.

surface = {
    "interactive_pyspark": "notebook",
    "scheduled_etl": "lakeflow_job",
    "concurrent_bi": "sql_warehouse",
    "declarative_incremental": "lakeflow_pipeline",
}