Operación

Un schedule es apropiado cuando el negocio define un corte, por ejemplo cerrar ventas a las 06:00 Europe/Madrid aunque no haya archivos. La zona horaria debe ser explícita y los cambios DST pueden producir intervalos irregulares; UTC simplifica cadencia técnica, pero quizá no coincide con el día de negocio.

Un trigger por archivo o tabla evita polling y runs vacíos cuando la llegada es irregular. Sin embargo, un evento indica que hubo un cambio, no que un lote multiarchivo esté completo. El pipeline conserva idempotencia y consulta su propia frontera de datos en vez de asumir que cada trigger corresponde a un único lote.

schedule:
  quartz_cron_expression: "0 0 6 * * ?"
  timezone_id: "Europe/Madrid"
  pause_status: "PAUSED"

El trigger observa una raíz o subruta y comprueba recursivamente nuevas llegadas. Con managed file events en la external location, Databricks aprovecha notificaciones del proveedor y reduce listing. El Job necesita permisos de lectura sobre la ubicación y administración del Job.

`wait_after_last_change_seconds` implementa debounce: espera un periodo sin cambios para agrupar un lote. `min_time_between_triggers_seconds` limita frecuencia. Ninguno garantiza completitud absoluta; productores serios publican un manifiesto o marcador y el código valida conteos antes de promover.

{
  "trigger": {
    "file_arrival": {
      "url": "/Volumes/main/landing/orders/",
      "min_time_between_triggers_seconds": 900,
      "wait_after_last_change_seconds": 60
    }
  }
}

Es útil cuando una publicación Delta upstream es la señal autoritativa y no interesa observar archivos físicos. El trigger puede monitorizar una o varias tablas y el downstream consulta `{{job.trigger.table_update.updated_tables}}` para saber cuáles cambiaron desde el run anterior.

La señal no debe convertirse en lógica frágil por tabla sin fallback. Un Job puede recibir varias actualizaciones coalescidas y debe leer el estado confirmado de cada tabla. Si se requiere orden transaccional entre varias tablas, un trigger separado no crea esa transacción; se necesita un marcador de publicación o una capa coordinadora.

{
  "task_key": "refresh_consumers",
  "notebook_task": {
    "notebook_path": "/Workspace/commerce/refresh_consumers",
    "base_parameters": {
      "updated_tables": "{{job.trigger.table_update.updated_tables}}",
      "trigger_type": "{{job.trigger.type}}"
    }
  }
}

Por defecto, un Job suele admitir un run activo. Aumentar `max_concurrent_runs` puede reducir espera, pero solo si runs simultáneos escriben rangos aislados. Si no, aparecen carreras y sobrecarga. Queueing conserva runs cuando no hay capacidad; omitirlo o superar límites puede producir skips.

Continuous inicia otro run al completar o fallar el anterior y aplica reintentos/backoff propios. Es adecuado para servicios siempre activos, no para un batch que espera datos. Las notificaciones se configuran para fallo, duración o atraso y deben incluir owner y contexto sin secretos.

max_concurrent_runs: 1
queue:
  enabled: true
timeout_seconds: 7200
email_notifications:
  on_failure:
    - data-platform-oncall@example.invalid
  on_duration_warning_threshold_exceeded:
    - data-platform-oncall@example.invalid

Lakeflow Jobs puede generar múltiples runs para un rango e intervalo y pasar parámetros de backfill. El código usa `process_date` o límites temporales explícitos y escribe idempotentemente la partición correspondiente. Mantener una ruta de código distinta para históricos provoca divergencia justo cuando más se necesita fiabilidad.

Antes de lanzar noventa días se calcula número de runs, volumen, coste, capacidad de origen y colisión con producción. Puede reducirse concurrency, escribir en una tabla sombra y promover por lotes. La validación compara conteos y totales por día, y el rollback conoce exactamente qué particiones tocó.

MERGE INTO main.silver.orders_daily AS target
USING (
  SELECT *
  FROM main.bronze.orders
  WHERE event_date = :process_date
) AS source
ON target.order_id = source.order_id
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *;