Compute

En serverless, Databricks aprovisiona y optimiza el recurso, aplica versiones compatibles y cobra según uso. Es una opción natural cuando se busca reducir administración y el workload admite sus límites regionales, de red y de funcionalidad.

Classic compute se ejecuta con recursos configurables de la cuenta cloud y permite más control sobre runtime, tipos de nodo, políticas e inicialización. Ese control aumenta las decisiones operativas; no implica automáticamente mejor rendimiento o menor coste.

workload:
  latency_sensitive: true
  custom_runtime_required: false
  private_dependency: false
  operations_capacity: low
choice: serverless

All-purpose compute favorece desarrollo interactivo compartido. Jobs compute se crea para ejecuciones automatizadas y puede aislar dependencias por tarea o job. Un SQL warehouse ofrece un endpoint SQL para consultas, dashboards y herramientas BI.

Para producción repetible, jobs compute o serverless Jobs evita depender del estado de una sesión interactiva. Para BI, el SQL warehouse proporciona controles de escalado y concurrencia que no deben simularse con un notebook conectado permanentemente.

def compute_for(kind: str) -> str:
    return {
        "exploration": "all-purpose",
        "scheduled_etl": "jobs compute",
        "bi_sql": "sql warehouse",
    }[kind]

Autoscaling modifica el número de workers dentro de límites; no corrige un plan con skew ni garantiza que una tarea monohilo acelere. Auto-termination finaliza compute inactivo y reduce coste, pero debe equilibrarse con la experiencia interactiva.

Los pools mantienen instancias preparadas para classic compute y reducen el tiempo de arranque sin mantener clusters completos. Serverless gestiona su propio aprovisionamiento, por lo que no se combina con pools creados por el usuario.

{
  "autoscale": {"min_workers": 2, "max_workers": 8},
  "autotermination_minutes": 20,
  "instance_pool_id": "pool-data-eng"
}

Standard access mode permite múltiples usuarios con aislamiento y es la opción recomendada para muchas cargas. Dedicated asigna el recurso a un usuario o grupo y cubre requisitos que necesitan acceso dedicado o funciones no soportadas en Standard.

Las políticas de compute deben fijar versiones, tipos de nodo, tags y límites coherentes. El mínimo privilegio también incluye impedir que cada usuario cree recursos sin guardrails financieros o de seguridad.

{
  "data_security_mode": {"type": "fixed", "value": "USER_ISOLATION"},
  "autotermination_minutes": {"type": "range", "maxValue": 30}
}

Una comparación útil mide el consumo por unidad de resultado: coste por ejecución, por GB procesado o por consulta dentro del SLA. Reducir el precio horario puede aumentar el coste si alarga el runtime o produce fallos y reintentos.

La tabla system.billing.usage registra consumo atribuible y etiquetas; para obtener coste monetario puede combinarse con system.billing.list_prices. Los tags y las serverless budget policies permiten asignación por equipo o producto.

SELECT
  custom_tags['team'] AS team,
  sum(usage_quantity) AS dbus
FROM system.billing.usage
WHERE usage_date >= date_sub(current_date(), 30)
GROUP BY custom_tags['team'];