Puedes leer sin crear un espacio. Créalo solo cuando quieras guardar.
Guardar progresoLección 3 de 5
Inferencia, hints y evolución de esquema
Lakeflow Connect combina conectores managed/standard y conectores basados en consulta para bases sin CDC.
17 min aprox.
03OperaciónInferencia, hints y evolución de esquema
Lakeflow Connect combina conectores managed/standard y conectores basados en consulta para bases sin CDC.
+
Inferencia, hints y evolución de esquema
Lakeflow Connect combina conectores managed/standard y conectores basados en consulta para bases sin CDC.
Managed connectors reducen operación y crean pipelines gobernados para fuentes compatibles. Standard connectors amplían fuentes desde Spark o pipelines. Un query-based connector consulta directamente la base mediante una Unity Catalog connection y escribe streaming tables sin ingestion gateway ni staging volume.
La ingesta incremental basada en consulta se ejecuta según programación y guarda un high-water mark de una única columna cursor monotónica; cada run lee valores mayores que el anterior. Un cursor NULL no se ingiere y un ID sólo sirve si las filas son append-only. No presentes este patrón como CDC de log ni como captura automática de cualquier delete.
source: postgres.orders
connector: query_based
cursor: updated_at
schedule: '0 */15 * * * ?'
target_catalog: mainComprueba monotonicidad, nulos y actualizaciones que no modifican el cursor antes de aceptar el diseño.
¿Qué condición debe cumplir el cursor de un conector basado en consulta?
Profundiza
Lakeflow Connect organiza opciones de ingesta desde conectores muy gestionados hasta interfaces más personalizables. Los managed connectors encapsulan autenticación, lectura incremental, serverless compute y destino gobernado para fuentes soportadas. Los standard connectors exponen capacidades desde SQL, Python o APIs de streaming cuando se necesita controlar transformaciones, opciones o fuentes. La documentación actual recomienda comenzar por la capa más gestionada que cumpla requisitos y descender solo ante una limitación concreta. El framework de transformaciones se denomina Spark Declarative Pipelines; Lakeflow pipelines es la oferta gestionada que lo extiende y aún aparece como nombre abreviado en el blueprint y material heredado. Ningún conector elimina la necesidad de validar semántica CDC y SLA.
Integración configurada que administra lectura incremental, compute y publicación gobernada para una fuente empresarial explícitamente soportada.
Reduce código y operación cuando sus capacidades, región y semántica coinciden con los requisitos reales de ingestión.Interfaz de ingesta disponible desde código o SQL que concede mayor control sobre opciones y comportamiento del pipeline.
Permite cubrir fuentes o requisitos especiales, pero hace responsable al equipo del estado, pruebas y recuperación.Securable de Unity Catalog que representa conectividad y autenticación administrada hacia un sistema de datos externo.
Evita repartir credenciales entre notebooks y permite conceder uso del acceso externo mediante gobierno centralizado.Resumen
Puntos clave
- Managed minimiza operación
- Query-based usa cursor y high-water mark
- Cursor y semántica dependen de la fuente
Evita
- Prometer CDC sin verificar conector
- Elegir un ID como cursor si las filas existentes pueden actualizarse