Puedes leer todo sin registrarte. Solo crearemos un perfil anónimo cuando decidas guardar tu progreso.
Lección 2 de 5
Notebook, Python, SQL y pipeline tasks
Parámetros configuran runs y task values intercambian valores pequeños entre tareas.
- Duración
- 17 min aprox.
- Objetivo
- Parámetros configuran runs y task values intercambian valores pequeños entre tareas.
- Siguiente paso
- Continuar con la siguiente lección
Ver detalles del módulo
Lakeflow Jobs: DAG, tareas y triggers
Convierte ejecuciones manuales en workflows parametrizados, idempotentes y observables.
- Diseñar un DAG con paralelismo seguro
- Configurar tareas, parámetros y dependencias
- Elegir triggers temporales o dirigidos por datos
02ImplementaciónNotebook, Python, SQL y pipeline tasks
Parámetros configuran runs y task values intercambian valores pequeños entre tareas.
+
Notebook, Python, SQL y pipeline tasks
Parámetros configuran runs y task values intercambian valores pequeños entre tareas.
Mostrar prerrequisitos
- Dificultad
- Associate + Professional
- Prerrequisitos
- m09
Los job parameters pueden propagarse y los task parameters alimentan notebooks, Python o SQL.
taskValues transporta IDs, fechas o conteos; las tablas y archivos transportan datasets.
Modelo mental
Los parámetros configuran una ejecución antes o al iniciar tareas; los task values comunican pequeños valores calculados durante el run. Ninguno debe transportar datasets. Una fecha, ruta lógica, umbral o identificador de versión cabe en el contrato; millones de filas pertenecen a una tabla gobernada o un Volume. Los parámetros de Job centralizan valores compartidos y las referencias dinámicas aportan contexto como start time o salidas upstream. Un task value tiene clave, productor y consumidor explícitos y está sujeto a límites de tamaño. Convertir todos los valores a tipos de dominio y validar rangos evita que una cadena vacía cambie silenciosamente la partición procesada.
Valor declarado a nivel de workflow que configura un run y puede propagarse de manera consistente a varias tareas.
Evita editar código por fecha o ambiente y deja la configuración efectiva registrada junto con la ejecución.Par clave-valor pequeño publicado por una tarea para control o parametrización de otras tareas del mismo run.
Permite comunicar métricas y decisiones sin usar la orquestación como transporte de datasets completos.Referencia resuelta por Jobs a metadatos de ejecución o salidas disponibles cuando una tarea se prepara.
Conecta contexto y control flow de forma auditable sin valores copiados manualmente entre notebooks.dbutils.jobs.taskValues.set(key="validated_rows", value=validated.count())
rows = dbutils.jobs.taskValues.get(taskKey="validate", key="validated_rows")No uses count en definiciones declarativas de pipeline; este ejemplo es tarea Job clásica.
Puntos clave
- Parámetros son configuración
- Task values son pequeños
- Datos pasan por storage
Evita
- Pasar secretos como parámetro
- Serializar DataFrame en task value
Recuerdo activo