Lo agéntico al servicio de los profesionales del dato
Las plataformas de datos integran ya asistentes capaces de generar una consulta SQL, documentar una tabla, identificar una anomalía o proponer una transformación. Estas capacidades están cambiando la forma en que los profesionales del dato conciben, desarrollan y operan sus procesos.
Pero queda una pregunta en el aire: ¿cómo pasar de asistentes capaces de ejecutar tareas puntuales a una capacidad de automatización fiable, reutilizable e industrializable en toda la cadena de valor del dato?
Esa es la ambición de «MAD», el framework harness agéntico desarrollado por Niji para los profesionales del dato. MAD va más allá de poner un agente a disposición de un data engineer: propone un marco estructurado para encapsular los métodos, orquestar las competencias y automatizar workflows de datos complejos, en un entorno controlado y adaptable al contexto de cada organización.
El objetivo: hacer de lo agéntico una verdadera capacidad de delivery de datos, al servicio de la calidad, la productividad y el desarrollo de competencias de los equipos.
Nuestra convicción: lo agéntico crea más valor cuando está encuadrado por métodos, estándares y procesos controlados.
Dividir para vencer
Un proyecto de datos nunca se reduce a una tarea aislada. Suele movilizar varias especialidades: ingesta, transformación, modelado, calidad, gobernanza, explotación, visualización o machine learning.
En un enfoque tradicional, estas actividades las realizan perfiles distintos, con métodos, niveles de documentación y prácticas a veces heterogéneos. Los asistentes de IA pueden acelerar ciertas etapas, pero no garantizan necesariamente la coherencia del conjunto. Una respuesta pertinente en una etapa concreta no basta para producir un entregable fiable de principio a fin.
MAD parte de esta realidad operativa y descompone la cadena de valor del dato en roles que corresponden a categorías de competencias esperadas de un profesional del dato:
- Data Ingestion Engineer
- Data Transformation & Modeling Engineer
- Data Quality & Reliability Engineer
- Analytics & BI Engineer
- Data Platform Operations Engineer
- Data Migration Engineer
- Data Privacy & Compliance Agent
- Data Governance Steward
- Data Solution & Product Architect
- ML & AI Engineer
Cada rol dispone de un dominio de especialización y de principios de trabajo propios. Estas especialidades se documentan en un catálogo de skills, es decir, capacidades elementales que se pueden movilizar directamente o a través de un agente orquestador.
El paso clave se produce cuando estos skills se invocan en secuencias coherentes (workflows). MAD permite entonces automatizar no solo una acción, sino una cadena de tratamiento completa, con etapas, condiciones, controles y entregables identificados.
Nota: el número de roles es deliberadamente alto para repartir las competencias de manera uniforme entre los distintos roles. Este desglose fino es fruto de varias iteraciones: facilita la activación de las competencias adecuadas según las necesidades, mejora los resultados obtenidos y alivia mecánicamente el contexto de los LLM.
Un modelo organizado en 3 niveles
Los roles ofrecen una representación de negocio del abanico de competencias de MAD. Permiten acercar la organización agéntica a la organización real de los equipos de datos, asociando a cada rol capacidades, un perímetro de intervención y un nivel de especialización.
Los skills contienen las acciones unitarias: evaluar una fuente de datos, diseñar una ingesta, implementar una transformación SQL o Spark, detectar anomalías, definir métricas de negocio, gestionar reglas de calidad o preparar una migración. Transforman la experiencia acumulada por los equipos en capacidades reutilizables.
Los workflows combinan varios skills y organizan su ejecución con una lógica determinista. Definen las macroetapas, las condiciones de paso, los puntos de control y los outputs esperados.
Es la combinación de skills especializados mediante una orquestación estructurada y determinista lo que permite a MAD ir más allá del uso aislado de los asistentes integrados en las plataformas de datos.
Lo que aporta MAD en concreto
- Acelerar el desarrollo y la adquisición de competencias. MAD constituye una caja de herramientas para los profesionales del dato. Los equipos pueden apoyarse en capacidades preconfiguradas para realizar más rápido ciertas tareas, beneficiándose además de métodos explícitos y documentados. Más allá de la velocidad, MAD hace que ciertas prácticas sean accesibles a un mayor número de perfiles, con un marco que facilita el aprendizaje, la reutilización y la transmisión.
- Sistematizar las buenas prácticas. Los skills y los workflows permiten integrar estándares en el diseño de los entregables de datos. Estos estándares pueden referirse a la estructura de los objetos, las convenciones de nomenclatura, la documentación, las pruebas, la calidad, la seguridad o las modalidades de despliegue. Se pueden parametrizar para tener en cuenta el contexto de la organización: stack técnico, restricciones normativas, nivel de madurez, reglas de seguridad o decisiones de arquitectura.
- Automatizar producciones complejas. Un caso de demostración consiste en partir de un conjunto de datos en bruto para producir una arquitectura medallón de principio a fin. El workflow entrega sucesivamente el análisis de los datos, el diseño y la implementación de la ingesta, los controles de calidad, la limpieza, el modelado semántico, la transformación hacia las capas Silver y Gold, la orquestación del pipeline y la generación de insights de negocio.
- Preservar la portabilidad. MAD está concebido en torno a un núcleo agnóstico respecto a las plataformas de datos. El framework se estructura como un repositorio Git que se importa, y puede adaptarse a las herramientas y restricciones del entorno de destino. Esta portabilidad evita reconstruir las mismas capacidades para cada plataforma y facilita la capitalización de los métodos.
Casos de uso aplicables a toda la cadena del dato
Configuración de flujos de ingesta, generación de las transformaciones, implantación de las pruebas y preparación de la orquestación, en un marco homogéneo de diseño y documentación.
Construcción de las capas Bronze, Silver y Gold a partir de datos en bruto, con cualificación de la fuente, limpieza, transformación, modelado y control.
Gestión de las reglas de calidad, ejecución de los controles, detección de anomalías, preparación de un plan de remediación y seguimiento de los indicadores.
Clasificación, protección, revisión de accesos y gestión de la retención, con una aplicación más sistemática y trazable de los requisitos de gobernanza.
Evaluación de la readiness, cartografía de los recursos, planificación de las oleadas, conversión de los workloads y validación del cambio.
Resultados observados
Un primer orden de magnitud, medido en las primeras pruebas.
En las primeras pruebas, la construcción de una arquitectura medallón de principio a fin para un modelo de negocio de 4 tablas y 50 campos se ejecuta en 20 minutos, siguiendo los estándares Niji y sin ninguna intervención del Data Engineer.
Los aprendizajes en la práctica con MAD
Los workflows aportan un control adicional
Los asistentes nativos de las plataformas de datos suelen saber realizar buena parte de las tareas que cubre MAD. Sin embargo, su ejecución es variable: las decisiones técnicas, la ubicación de los archivos, los métodos empleados o el nivel de documentación pueden diferir de una ejecución a otra. Los workflows añaden una capa de orquestación determinista y puntos de control.
Los skills deben diseñarse para ser orquestados
Un skill concebido para un uso específico no está necesariamente listo para integrarse en una cadena automatizada. La experimentación con MAD ha demostrado la importancia de estandarizar los contratos de entrada y de salida, aislar claramente las tareas unitarias y definir con precisión los outputs esperados.
El harness cuenta tanto como el modelo
El valor de MAD reside menos en la búsqueda de un modelo capaz de hacerlo todo que en la construcción de un entorno de trabajo controlado. El framework encuadra los métodos utilizados, las ubicaciones de producción, las convenciones y las decisiones técnicas autorizadas.
El coste es bajo, pero hay que gestionarlo
Las primeras pruebas muestran un coste del orden de unos pocos dólares por la ejecución de un workflow complejo (sin contar el coste de compute). Este coste de inferencia del LLM es bajo en relación con el trabajo realizado y con el ahorro de tiempo significativo frente a operaciones manuales equivalentes, pero no es despreciable en una lógica industrial. Un seguimiento FinOps debe acompañar al framework en su paso a escala, con una evaluación periódica del valor producido.
¿Cómo activar MAD en tu organización?
MAD es una capacidad aumentada que prolonga la experiencia de los equipos. Su puesta a disposición va por tanto acompañada de un dispositivo de apropiación y de un ciclo de mejora continua:
Identificar uno o varios casos de uso elegibles: configuración de un flujo ETL, implementación de una arquitectura medallón, análisis y remediación de la calidad de los datos. La prueba se realiza en comparación con los métodos habituales, con criterios de medición de la calidad y la eficacia del trabajo definidos de antemano.
Definir las situaciones en las que debe utilizarse MAD, adaptar los estándares a las prácticas de la organización, añadir los skills y workflows necesarios, implantar un seguimiento FinOps, formar a los equipos y ajustar progresivamente la parametrización.
Este enfoque permite medir el valor real del framework en el contexto de la organización, más allá de la demostración tecnológica. Una vez validado el valor, MAD puede convertirse en una caja de herramientas compartida por los profesionales del dato.
Pasar a la acción. ¿Quieres evaluar el potencial de MAD en un caso de uso de datos concreto? Niji te acompaña en el planteamiento, la experimentación, la medición del valor y el paso a escala.
