Puedes leer todo sin registrarte. Solo crearemos un perfil anónimo cuando decidas guardar tu progreso.
Lección 3 de 5
Inferencia, hints y evolución de esquema
Lakeflow Connect managed connectors gestionan ingestión; standard connectors ofrecen acceso desde código.
- Duración
- 17 min aprox.
- Objetivo
- Lakeflow Connect managed connectors gestionan ingestión; standard connectors ofrecen acceso desde código.
- Siguiente paso
- Continuar con la siguiente lección
Ver detalles del módulo
Auto Loader y Lakeflow Connect
Selecciona entre descubrimiento de archivos, conectores gestionados y alternativas de integración.
- Configurar schemaLocation y checkpointLocation
- Gestionar evolución y rescued data
- Elegir Lakeflow Connect, Auto Loader o partner connector
03OperaciónInferencia, hints y evolución de esquema
Lakeflow Connect managed connectors gestionan ingestión; standard connectors ofrecen acceso desde código.
+
Inferencia, hints y evolución de esquema
Lakeflow Connect managed connectors gestionan ingestión; standard connectors ofrecen acceso desde código.
Mostrar prerrequisitos
- Dificultad
- Associate + Professional
- Prerrequisitos
- m08
Managed connectors reducen operación y crean pipelines gobernados para fuentes compatibles. Standard connectors amplían fuentes desde Spark o pipelines.
La disponibilidad, latencia y capacidades de CDC dependen del conector; no todos ofrecen la misma semántica.
Modelo mental
Lakeflow Connect organiza opciones de ingesta desde conectores muy gestionados hasta interfaces más personalizables. Los managed connectors encapsulan autenticación, lectura incremental, serverless compute y destino gobernado para fuentes soportadas. Los standard connectors exponen capacidades desde SQL, Python o APIs de streaming cuando se necesita controlar transformaciones, opciones o fuentes. La documentación actual recomienda comenzar por la capa más gestionada que cumpla requisitos y descender solo ante una limitación concreta. El framework de transformaciones se denomina Spark Declarative Pipelines; Lakeflow pipelines es la oferta gestionada que lo extiende y aún aparece como nombre abreviado en el blueprint y material heredado. Ningún conector elimina la necesidad de validar semántica CDC y SLA.
Integración configurada que administra lectura incremental, compute y publicación gobernada para una fuente empresarial explícitamente soportada.
Reduce código y operación cuando sus capacidades, región y semántica coinciden con los requisitos reales de ingestión.Interfaz de ingesta disponible desde código o SQL que concede mayor control sobre opciones y comportamiento del pipeline.
Permite cubrir fuentes o requisitos especiales, pero hace responsable al equipo del estado, pruebas y recuperación.Securable de Unity Catalog que representa conectividad y autenticación administrada hacia un sistema de datos externo.
Evita repartir credenciales entre notebooks y permite conceder uso del acceso externo mediante gobierno centralizado.source: salesforce
connector: managed
mode: incremental
target_catalog: main
latency_slo_minutes: 30Confirma soporte regional y objetos de origen.
Puntos clave
- Managed minimiza operación
- Standard da control en código
- Capacidades dependen de fuente
Evita
- Prometer CDC sin verificar conector
- Elegir custom antes de revisar managed
Recuerdo activo