Puedes leer sin crear un espacio. Créalo solo cuando quieras guardar.
Guardar progresoLección 1 de 5
Matriz de patrones de ingesta
La ingesta se elige por origen, volumen, frescura, cambios y gobierno.
17 min aprox.
01Modelo mentalMatriz de patrones de ingesta
La ingesta se elige por origen, volumen, frescura, cambios y gobierno.
+
Matriz de patrones de ingesta
La ingesta se elige por origen, volumen, frescura, cambios y gobierno.
Carga completa simplifica fuentes pequeñas; incremental reduce movimiento pero necesita cursor, archivos descubiertos o CDC.
Antes de seleccionar herramienta define reintento, borrados, esquema y límite de responsabilidad.
source: orders_api
mode: incremental
cursor: updated_at
replay: true
deletes: tombstoneEl cursor debe ser estable y soportar desempates.
¿Qué exige una carga incremental desde API?
Profundiza
Seleccionar ingesta significa traducir propiedades de la fuente a garantías de destino. Un conjunto finito de archivos puede cargarse en batch; una ruta creciente necesita descubrimiento incremental; una base operacional puede requerir snapshot, consultas JDBC o CDC; una API exige paginación y control de límites. Volumen, velocidad, esquema, orden, borrados, autenticación, replay y SLA determinan la herramienta. COPY INTO, Auto Loader y Lakeflow Connect no son sinónimos de pequeño, mediano y grande: ofrecen modelos de estado y operación distintos. La decisión autosuficiente identifica primero qué constituye un dato nuevo y cómo se demuestra que no se perdió ni se procesó dos veces.
Elemento cuya identidad permite reconocer progreso, como archivo, offset o versión de cambio.
Define cómo reanudar y evitar reprocesamiento accidental.Capacidad de volver a procesar una entrada durable desde un punto conocido.
Es esencial para corregir lógica sin depender de la disponibilidad de la fuente.Captura de inserciones, actualizaciones y borrados de una fuente con orden o secuencia asociados.
Conserva cambios que un snapshot periódico podría perder.Resumen
Puntos clave
- Full e incremental tienen trade-offs
- Idempotencia es requisito
- El origen condiciona el patrón
Evita
- Incremental sin cursor fiable
- Full load que borra historia útil