Puedes leer sin crear un espacio. Créalo solo cuando quieras guardar.
Guardar progresoLección 1 de 5
Jobs, runs y task graph
Lakeflow Jobs expresa workflows como DAG de tareas con dependencias observables.
17 min aprox.
01Modelo mentalJobs, runs y task graph
Lakeflow Jobs expresa workflows como DAG de tareas con dependencias observables.
+
Jobs, runs y task graph
Lakeflow Jobs expresa workflows como DAG de tareas con dependencias observables.
Cada tarea define tipo, compute, identidad y resultado; dependencias permiten paralelismo cuando no existe relación de datos.
Divide por unidades reintentables e idempotentes, no por cada línea de código.
tasks:
- task_key: bronze
- task_key: silver
depends_on: [{task_key: bronze}]
- task_key: gold
depends_on: [{task_key: silver}]Asigna compute y código en la definición completa.
¿Qué permite ejecutar dos tareas a la vez?
Profundiza
Lakeflow Jobs modela un workflow como un grafo dirigido acíclico de tareas. Cada nodo tiene tipo, compute, parámetros, identidad, timeout y política de retry; cada arista expresa una dependencia y condición de ejecución. El DAG no transporta automáticamente DataFrames ni garantiza idempotencia: coordina unidades que deben publicar resultados durables o valores pequeños. Las dependencias permiten paralelismo cuando no existe relación causal y bloquean downstream cuando una precondición falla. Un buen grafo refleja fronteras operativas: una tarea debe poder reintentarse, observarse y repararse sin repetir todo. El nombre Lakeflow Jobs es la superficie de orquestación; no debe confundirse con Spark Declarative Pipelines, framework para declarar datasets.
Grafo dirigido sin ciclos que representa tareas y dependencias causales dentro de un workflow ejecutable.
Permite planificar paralelismo, propagación de fallos y recuperación selectiva de manera explícita.Unidad observable de trabajo con entrada, compute, parámetros, resultado y política operacional propios dentro de un Job.
Define el nivel al que se reintenta, alerta, mide y repara una parte del proceso.Relación que condiciona la elegibilidad de una tarea al estado o salida de otra tarea anterior.
Evita ejecutar consumidores antes de que sus precondiciones durables y verificadas estén disponibles.Resumen
Puntos clave
- DAG dirige orden
- Tareas independientes paralelizan
- Cada tarea debe ser reintentable
Evita
- DAG totalmente serial
- Estado oculto entre notebooks