Puedes leer sin crear un espacio. Créalo solo cuando quieras guardar.
Guardar progresoLección 3 de 5
Continuous y triggered pipelines
Table update inicia un Job cuando cambian tablas Unity Catalog y entrega la lista actualizada como referencia dinámica para procesamiento selectivo.
17 min aprox.
03OperaciónContinuous y triggered pipelines
Table update inicia un Job cuando cambian tablas Unity Catalog y entrega la lista actualizada como referencia dinámica para procesamiento selectivo.
+
Continuous y triggered pipelines
Table update inicia un Job cuando cambian tablas Unity Catalog y entrega la lista actualizada como referencia dinámica para procesamiento selectivo.
Es útil cuando una publicación Delta upstream es la señal autoritativa y no interesa observar archivos físicos. El trigger puede monitorizar una o varias tablas y el downstream consulta `{{job.trigger.table_update.updated_tables}}` para saber cuáles cambiaron desde el run anterior.
La señal no debe convertirse en lógica frágil por tabla sin fallback. Un Job puede recibir varias actualizaciones coalescidas y debe leer el estado confirmado de cada tabla. Si se requiere orden transaccional entre varias tablas, un trigger separado no crea esa transacción; se necesita un marcador de publicación o una capa coordinadora.
{
"task_key": "refresh_consumers",
"notebook_task": {
"notebook_path": "/Workspace/commerce/refresh_consumers",
"base_parameters": {
"updated_tables": "{{job.trigger.table_update.updated_tables}}",
"trigger_type": "{{job.trigger.type}}"
}
}
}El notebook debe validar el JSON y ser capaz de actualizar todas las tablas relevantes aunque varias aparezcan en el mismo run.
¿Qué ventaja tiene table update sobre observar archivos internos Delta?
Profundiza
Table update trigger inicia un Job cuando cambian tablas o vistas soportadas de Unity Catalog. Puede vigilar una sola fuente o varias y disparar cuando se actualice cualquiera (`Any`) o cuando todas hayan cambiado (`All`). La señal se refiere a commits observados, no necesariamente a filas relevantes para la consulta downstream: una vista filtrada puede considerarse actualizada aunque el cambio quede fuera del filtro. Las referencias dinámicas exponen lista de tablas actualizadas y, según el caso, versión y timestamp de commit; permiten procesamiento selectivo y auditoría. `Wait after last change` y mínimo entre triggers agrupan oleadas de commits. File events en las ubicaciones subyacentes mejoran rendimiento y habilitan capacidades relacionadas. El Job conserva de todos modos una tabla de control o checkpoints, porque dos commits pueden agruparse y una notificación no define exactamente el rango consumido.
Lista dinámica de objetos que el table update trigger observó como modificados para el contexto del run creado.
Permite saltar ramas innecesarias y conservar evidencia de por qué se inició la ejecución.Política que dispara cuando cambia al menos una tabla vigilada o espera a que todas registren actualización respectivamente.
Debe corresponder al contrato de coordinación upstream para evitar runs prematuros o bloqueados.Indicación de que un objeto gobernado registró una actualización, independientemente de si todas sus filas afectan al producto downstream.
Evita interpretar el trigger como una prueba de cambio semántico y justifica filtrado y checkpoint propios.Resumen
Puntos clave
- Table update reacciona al objeto gobernado, no a su implementación de archivos.
- La lista de tablas actualizadas está disponible mediante dynamic value reference.
- Una notificación puede representar varios cambios y no sustituye un contrato de consistencia multitabla.
Evita
- Monitorizar archivos de una tabla Delta y disparar antes de que el commit sea visible.
- Suponer que una señal por cada tabla ofrece una snapshot consistente entre varias tablas relacionadas.