Puedes leer todo sin registrarte. Solo crearemos un perfil anónimo cuando decidas guardar tu progreso.
Lección 5 de 5
Deletion vectors y predictive optimization
Delega `OPTIMIZE`, `VACUUM` y `ANALYZE` a predictive optimization cuando la tabla administrada y su gobierno lo permiten.
- Duración
- 17 min aprox.
- Objetivo
- Delega `OPTIMIZE`, `VACUUM` y `ANALYZE` a predictive optimization cuando la tabla administrada y su gobierno lo permiten.
- Siguiente paso
- Continuar con el laboratorio
Ver detalles del módulo
Photon, data skipping y liquid clustering
Diseña layout y mantenimiento de tablas según patrones de consulta que cambian con el tiempo.
- Interpretar data skipping y pruning
- Elegir liquid clustering
- Explicar deletion vectors, Photon y predictive optimization
05Decisión de diseñoDeletion vectors y predictive optimization
Delega `OPTIMIZE`, `VACUUM` y `ANALYZE` a predictive optimization cuando la tabla administrada y su gobierno lo permiten.
+
Deletion vectors y predictive optimization
Delega `OPTIMIZE`, `VACUUM` y `ANALYZE` a predictive optimization cuando la tabla administrada y su gobierno lo permiten.
Predictive optimization observa tablas administradas por Unity Catalog y ejecuta mantenimiento donde estima beneficio: compacta y aplica clustering con `OPTIMIZE`, elimina archivos no referenciados con `VACUUM` y mantiene estadísticas mediante `ANALYZE`. Puede habilitarse en cuenta, catálogo, esquema o tabla, con herencia; las tablas externas quedan bajo responsabilidad del propietario.
Automatizar no significa perder control. Revisa la propiedad efectiva con `DESCRIBE ... EXTENDED`, el historial de operaciones y el coste atribuido a `PREDICTIVE_OPTIMIZATION` en `system.billing.usage`. Evita jobs cron que ejecutan `OPTIMIZE` sobre todas las tablas sin observar necesidad: compiten con la automatización y pueden gastar más que el beneficio obtenido.
Modelo mental
Predictive optimization convierte el mantenimiento de tablas administradas por Unity Catalog en un bucle de control gestionado. La plataforma observa actividad y decide cuándo ejecutar OPTIMIZE, VACUUM y ANALYZE para mejorar layout, retirar archivos no referenciados y mantener estadísticas, en vez de exigir calendarios idénticos para miles de tablas. No es un botón que elimina responsabilidad: sólo opera sobre objetos elegibles, consume recursos serverless y debe convivir con retención, lectores y políticas. Su ventaja es ajustar frecuencia a la necesidad real. El ingeniero conserva el contrato: habilitación, observabilidad, compatibilidad, excepciones y retirada de jobs manuales que duplicarían trabajo o competirían con el servicio.
Tabla gobernada por Unity Catalog cuya propiedad y características permiten mantenimiento automático por la plataforma.
Predictive optimization no es una solución universal para tablas externas o configuraciones incompatibles.Operación que recopila estadísticas utilizadas por el optimizador para estimar tamaños y cardinalidades.
Mejora decisiones de join y planificación; estadísticas obsoletas pueden producir planes frágiles.Ciclo que observa uso, ejecuta optimización y vuelve a medir el estado de la tabla.
Adapta frecuencia a actividad real en lugar de aplicar calendarios fijos a todas las tablas.ALTER CATALOG prod ENABLE PREDICTIVE OPTIMIZATION;
DESCRIBE CATALOG EXTENDED prod;
DESCRIBE TABLE EXTENDED prod.gold.orders;
SELECT operation, operationParameters, operationMetrics, timestamp
FROM (DESCRIBE HISTORY prod.gold.orders)
ORDER BY timestamp DESC
LIMIT 20;La herencia no anula un `DISABLE` explícito en un hijo; verifica la configuración efectiva antes de diagnosticar ausencia de mantenimiento.
Puntos clave
- Sólo tablas administradas elegibles reciben predictive optimization.
- La configuración hereda desde cuenta, catálogo y esquema salvo override explícito.
- Audita tanto beneficio como consumo de las operaciones automáticas.
Evita
- Asumir que una tabla externa recibe mantenimiento automático porque está registrada en Unity Catalog.
- Conservar un job global de `OPTIMIZE` y `VACUUM` sin comprobar si duplica predictive optimization.
Recuerdo activo