Puedes leer sin crear un espacio. Créalo solo cuando quieras guardar.
Guardar progresoLección 1 de 5
Lazy evaluation y DAG de Spark
El plan físico y sus métricas indican dónde se mueve y procesa el dato.
17 min aprox.
01Modelo mentalLazy evaluation y DAG de Spark
El plan físico y sus métricas indican dónde se mueve y procesa el dato.
+
Lazy evaluation y DAG de Spark
El plan físico y sus métricas indican dónde se mueve y procesa el dato.
explain formatted separa plan lógico y físico; Exchange suele indicar shuffle, y el tipo de join muestra la estrategia elegida.
Spark UI confirma con bytes, duración y distribución por tarea. Optimiza una hipótesis cada vez y conserva una línea base.
result.explain("formatted")Busca Exchange, Scan y el operador de join; después contrasta en Spark UI.
¿Qué operador suele delimitar un shuffle?
Profundiza
Un plan de Spark es una explicación ejecutable de cómo una intención relacional se convierte en trabajo distribuido. El plan lógico conserva operaciones como filtro, proyección y join; Catalyst lo analiza y optimiza; el plan físico elige scans, algoritmos de join, exchanges y agregaciones concretas. explain formatted muestra estructura y estimaciones, pero no sustituye métricas reales. Spark UI revela stages, tareas, bytes, shuffle, spill y distribución temporal después de ejecutar. La lectura competente conecta ambos: un Exchange anticipa redistribución, mientras las métricas confirman su volumen y equilibrio. Optimizar significa formular una hipótesis causal, cambiar una sola variable y comparar contra una línea base semánticamente equivalente.
Optimizador de consultas de Spark que analiza expresiones y transforma planes lógicos en alternativas físicas.
Permite razonar sobre por qué código distinto puede producir ejecución equivalente.Operador físico que redistribuye datos entre executors y suele crear una frontera de stage.
Señala un shuffle potencialmente costoso que debe confirmarse con métricas.Plan que AQE puede revisar durante ejecución usando estadísticas observadas en runtime.
Explica cambios de estrategia y particiones que no aparecen en el plan inicial.Resumen
Puntos clave
- Exchange señala redistribución
- Plan y métricas se complementan
- Mide antes y después
Evita
- Ajustar configuraciones sin línea base
- Interpretar solo el plan lógico