Puedes leer todo sin registrarte. Solo crearemos un perfil anónimo cuando decidas guardar tu progreso.
Lección 4 de 5
Liquid clustering
Relaciona deletion vectors, predictive I/O y concurrencia por fila con el coste real de `MERGE`, `UPDATE` y `DELETE`.
- Duración
- 17 min aprox.
- Objetivo
- Relaciona deletion vectors, predictive I/O y concurrencia por fila con el coste real de `MERGE`, `UPDATE` y `DELETE`.
- Siguiente paso
- Continuar con la siguiente lección
Ver detalles del módulo
Photon, data skipping y liquid clustering
Diseña layout y mantenimiento de tablas según patrones de consulta que cambian con el tiempo.
- Interpretar data skipping y pruning
- Elegir liquid clustering
- Explicar deletion vectors, Photon y predictive optimization
04DiagnósticoLiquid clustering
Relaciona deletion vectors, predictive I/O y concurrencia por fila con el coste real de `MERGE`, `UPDATE` y `DELETE`.
+
Liquid clustering
Relaciona deletion vectors, predictive I/O y concurrencia por fila con el coste real de `MERGE`, `UPDATE` y `DELETE`.
Sin deletion vectors, modificar pocas filas puede obligar a reescribir archivos Parquet completos. Con la característica activada, Delta registra qué filas están lógicamente eliminadas y difiere la reescritura física. Photon puede usar predictive I/O para acelerar actualizaciones y lecturas compatibles; el protocolo de tabla se eleva, por lo que todos los clientes externos deben soportarlo.
Los vectores no eliminan mantenimiento: operaciones posteriores materializan cambios cuando conviene, y `VACUUM` sigue gobernado por retención. También habilitan row-level concurrency en tablas elegibles, reduciendo conflictos entre escrituras sobre filas distintas. Desactivarlos por costumbre puede perder concurrencia; activarlos sin inventariar lectores externos puede romper interoperabilidad.
Modelo mental
Una deletion vector es una capa de indirection entre el archivo físico y la versión lógica visible de la tabla. En vez de reescribir un Parquet completo para cambiar unas pocas filas, la transacción registra qué posiciones quedan eliminadas o sustituidas; las lecturas consultan esa marca y reconstruyen el estado actual. Photon puede aprovechar este mecanismo para predictive I/O en UPDATE, DELETE y MERGE, y Delta puede habilitar concurrencia a nivel de fila en configuraciones compatibles. El ahorro de escritura desplaza parte del trabajo a lectura y mantenimiento posterior. Los bytes antiguos no desaparecen inmediatamente: REORG y VACUUM, con retención segura, materializan y purgan cuando corresponde.
Metadato que identifica posiciones de filas lógicamente eliminadas sin reescribir inmediatamente su archivo.
Reduce write amplification en cambios selectivos y habilita optimizaciones y concurrencia compatibles.Capacidad de resolver conflictos de escrituras sobre filas distintas en lugar de todo el archivo.
Mejora throughput de MERGE, UPDATE y DELETE concurrentes cuando se cumplen los requisitos de tabla.Reescritura y eliminación posterior de archivos que aún contienen bytes de filas lógicamente borradas.
Una eliminación lógica rápida no satisface por sí sola requisitos de borrado físico o reducción de almacenamiento.ALTER TABLE prod.silver.customers
SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);
DESCRIBE DETAIL prod.silver.customers;
DELETE FROM prod.silver.customers
WHERE deletion_requested_at < current_date() - INTERVAL 30 DAYS;Revisa `tableFeatures` en `DESCRIBE DETAIL` y valida previamente cada motor externo que accede a la tabla.
Puntos clave
- Deletion vectors evitan reescribir inmediatamente archivos completos por cambios de pocas filas.
- Comprueba compatibilidad de protocolo de todos los lectores y escritores.
- Predictive I/O para updates requiere Photon y usa deletion vectors.
Evita
- Activar una característica de protocolo sin probar consumidores Delta externos.
- Confundir borrado lógico inmediato con eliminación física segura de archivos.
Recuerdo activo