Interoperabilidad

OpenSharing es la evolución del intercambio abierto conocido históricamente como Delta Sharing. Entre metastores Databricks, el recipient accede mediante integración nativa y no necesita un fichero de credenciales. Para receptores sin Unity Catalog, el protocolo abierto permite Spark, pandas, Power BI y otros conectores mediante bearer token u OIDC federation.

Los activos se consumen en modo read-only y el proveedor controla qué agrega al share. Prefiere OIDC con tokens cortos cuando el receptor puede federar su identidad; los bearer tokens requieren distribución segura, rotación y revocación. La nube del proveedor y receptor puede diferir, pero egress, ubicación y residencia siguen siendo decisiones de arquitectura.

CREATE SHARE IF NOT EXISTS retail_partner;

ALTER SHARE retail_partner
ADD TABLE prod.shared.daily_inventory;

SHOW ALL IN SHARE retail_partner;

El proveedor crea un share, añade tablas, vistas u otros activos compatibles y concede acceso a un recipient. Una vista compartida puede minimizar columnas y filtrar datos según contrato, pero sus capacidades y coste dependen del modelo de sharing. El owner del share debe ser un grupo operativo y los cambios deben pasar revisión igual que un API público.

Versiona esquema y comunica breaking changes. Monitoriza accesos, establece fecha de expiración del acuerdo y prueba revocación. No compartas la tabla bronze por conveniencia: crea una capa estable, documentada y sin campos internos. Si el receptor necesita escribir o transformar en origen, sharing no satisface ese requisito read-only.

CREATE OR REPLACE VIEW prod.shared.partner_inventory AS
SELECT
  sku,
  DATE_TRUNC('day', snapshot_ts) AS snapshot_date,
  region,
  available_units
FROM prod.gold.inventory
WHERE partner_visible = TRUE;

ALTER SHARE retail_partner
ADD VIEW prod.shared.partner_inventory;

El proveedor conserva el control y puede revocar el recipient o retirar activos. Registra owner, propósito, región, base legal, clasificación, protocolo y método de autenticación. Audita acciones de shares/recipients y accesos según las system tables disponibles. Si usas bearer credentials, almacénalas como secretos, rota con solapamiento y destruye copias antiguas.

Row filters/masks y ABAC tienen limitaciones específicas al compartir; no presupongas que una política aplicada a la fuente se reproduce igual en el receptor. Prueba el share con una identidad real del recipient. Modela egress cloud y foreign compute en el coste, especialmente para vistas, materialized views, streaming tables o datos federados.

SHOW SHARES;
SHOW RECIPIENTS;
SHOW ALL IN SHARE retail_partner;

-- Conserva la salida con owner, propósito y fecha de revisión
-- en una tabla de control gobernada, no en una hoja personal.

Lakehouse Federation ofrece acceso gobernado mediante foreign catalogs. Query federation conecta bases relacionales por JDBC: Databricks empuja filtros/agregaciones compatibles y parte de la consulta se ejecuta en el sistema remoto. Catalog federation conecta catálogos externos como Hive Metastore, AWS Glue o plataformas compatibles y Databricks lee datos del object storage con su propio compute.

Ambas rutas son read-only y sirven exploración, BI o migración gradual, no sustituyen una ingesta para cargas intensivas repetidas. Comprueba pushdown con `EXPLAIN`, latencia de red, límites del origen y concurrencia. Una consulta que extrae millones de filas sin filtro puede saturar la base operacional aunque el warehouse Databricks tenga capacidad.

CREATE FOREIGN CATALOG finance_postgres
USING CONNECTION finance_pg
OPTIONS (database 'finance');

EXPLAIN FORMATTED
SELECT region, SUM(amount) AS revenue
FROM finance_postgres.public.invoices
WHERE invoice_date >= current_date() - INTERVAL 7 DAYS
GROUP BY region;

Sharing publica un producto gobernado hacia consumidores externos; federation consulta una fuente externa in situ; ingestión copia cambios al lakehouse para transformación y SLA propios. Si un partner necesita leer una tabla curada, sharing evita una exportación. Si un analista explora PostgreSQL unas veces, federation reduce time-to-value. Si cientos de jobs agregan esa base cada hora, ingiere incrementalmente.

Interoperabilidad no elimina contratos. Documenta tipos, time zones, semántica de deletes, límites y ownership. Considera Iceberg REST Catalog u otros protocolos cuando clientes externos deban leer tablas gobernadas directamente, siempre contrastando soporte de features Delta/ABAC. Diseña una salida: cómo revocar, materializar o migrar sin romper consumidores.

{
  "use_case": "partner_inventory_daily",
  "direction": "outbound",
  "write_required": false,
  "freshness": "daily",
  "consumer_platform": "non_databricks",
  "classification": "internal",
  "selected_pattern": "open_sharing_oidc",
  "rejected": {
    "federation": "el partner no debe acceder al sistema operacional",
    "file_export": "duplica datos y credenciales"
  }
}