← Todos los artículos

Scrum para ingeniería de datos: construir pipelines fiables de forma iterativa

By XNM Technologies · April 8, 2023 · 1 min read
Scrum para ingeniería de datos: construir pipelines fiables de forma iterativa

La adaptación más importante para la ingeniería de datos es definir la calidad de los datos explícitamente en la Definición de Hecho y en los criterios de aceptación de las historias de usuario. Las cuatro dimensiones de calidad a incluir son: completitud (¿qué porcentaje de los registros esperados debe estar presente?), exactitud (¿los valores coinciden con la fuente tras la transformación?), frescura (¿qué tan actuales deben estar los datos?) y linaje (¿se puede rastrear el origen e historial de transformación de cada elemento?).

  • Fallos de pipelines como defectos: capturados en el backlog con visibilidad y priorización — el seguimiento de defectos es el ciclo de retroalimentación que permite al equipo mejorar.

  • Cambios de esquema como funcionalidades que requieren priorización del Product Owner, con comunicación a las partes interesadas y gobernanza de control de versiones.

  • Contratos de datos entre equipos productores y consumidores: acuerdos formales sobre esquema, garantías de calidad, SLA y proceso de gestión de cambios disruptivos.

El pensamiento de producto de datos es el reencuadre más efectivo para las historias de usuario: "Como analista financiero, necesito un conjunto de datos de ventas reconciliado diariamente por región, para poder producir el informe semanal de rendimiento regional sin recopilación manual de datos." Ese encuadre produce criterios de aceptación que reflejan las necesidades reales del consumidor en lugar de detalles de implementación técnica.

Si tu equipo de ingeniería de datos está adoptando Scrum o encuentra que el marco estándar necesita adaptación para ajustarse a las realidades del trabajo con pipelines, la práctica de entrega de programas y proyectos de XNM trabaja con equipos técnicos para diseñar modelos operativos ágiles que se ajusten al trabajo, no sólo al marco.