L'agentique au service des métiers de la data
Les plateformes data intègrent désormais des assistants capables de générer une requête SQL, de documenter une table, d'identifier une anomalie ou de proposer une transformation. Ces capacités changent déjà la manière dont les praticiens de la donnée conçoivent, développent et opèrent leurs traitements.
Mais une question reste en suspens : comment passer d'assistants capables d'exécuter des tâches ponctuelles à une capacité d'automatisation fiable, réutilisable et industrialisable sur l'ensemble de la chaîne de valeur data ?
C'est l'ambition de « MAD », le framework harness agentique développé par Niji pour les métiers de la data. MAD va plus loin que la mise à disposition d'un agent à un data engineer : il propose un cadre structuré pour encapsuler les méthodes, orchestrer les compétences et automatiser des workflows data complexes, dans un environnement maîtrisé et adaptable au contexte de chaque organisation.
L'objectif : faire de l'agentique une véritable capacité de delivery data, au service de la qualité, de la productivité et de la montée en compétence des équipes.
Notre conviction : l'agentique crée le plus de valeur lorsqu'elle est encadrée par des méthodes, des standards et des processus maîtrisés.
Diviser pour mieux régner
Un projet data ne se résume jamais à une tâche isolée. Il mobilise généralement plusieurs expertises : ingestion, transformation, modélisation, qualité, gouvernance, exploitation, visualisation ou encore machine learning.
Dans une approche traditionnelle, ces activités sont réalisées par différents profils, avec des méthodes, des niveaux de documentation et des pratiques parfois hétérogènes. Les assistants IA peuvent accélérer certaines étapes, mais ils ne garantissent pas nécessairement la cohérence de l'ensemble. Une réponse pertinente à une étape donnée ne suffit pas à produire un livrable fiable de bout en bout.
MAD part de cette réalité opérationnelle et décompose la chaîne de valeur data en rôles correspondant à des catégories de compétences attendues d'un praticien de la donnée :
- Data Ingestion Engineer
- Data Transformation & Modeling Engineer
- Data Quality & Reliability Engineer
- Analytics & BI Engineer
- Data Platform Operations Engineer
- Data Migration Engineer
- Data Privacy & Compliance Agent
- Data Governance Steward
- Data Solution & Product Architect
- ML & AI Engineer
Chaque rôle dispose d'un domaine d'expertise et de principes de travail spécifiques. Ces expertises sont documentées dans un catalogue de skills, c'est-à-dire des capacités élémentaires mobilisables directement ou par un agent orchestrateur.
Le passage clé s'opère lorsque ces skills sont appelés dans des séquences cohérentes (workflows). MAD permet alors d'automatiser non plus seulement une action, mais une chaîne de traitement complète, avec des étapes, des conditions, des contrôles et des livrables identifiés.
Note : le nombre de rôles est volontairement élevé pour subdiviser les compétences de manière uniforme entre les différents rôles. Ce découpage fin a été le fruit de plusieurs itérations : il fluidifie l'activation des bonnes compétences en fonction des besoins, améliorant les résultats obtenus et allégeant mécaniquement le contexte des LLM.
Un modèle organisé en 3 niveaux
Les rôles donnent une représentation métier du panel de compétences MAD. Ils permettent de rapprocher l'organisation agentique de l'organisation réelle des équipes data, en associant chaque rôle à des capacités, un périmètre d'intervention et un niveau d'expertise.
Les skills portent les actions unitaires : évaluer une source de données, concevoir une ingestion, implémenter une transformation SQL ou Spark, détecter des anomalies, définir des métriques métier, gérer des règles de qualité ou encore préparer une migration. Ils transforment l'expertise accumulée par les équipes en capacités réutilisables.
Les workflows combinent plusieurs skills et organisent leur exécution dans une logique déterministe. Ils définissent les macro-étapes, les conditions de passage, les points de contrôle et les outputs attendus.
C'est la combinaison de skills spécialisés via une orchestration structurée et déterministe qui permet à MAD de dépasser l'usage isolé des assistants intégrés aux plateformes data.
Ce que MAD apporte concrètement
- Accélérer le développement et la montée en compétence. MAD constitue une boîte à outils pour les praticiens de la donnée. Les équipes peuvent s'appuyer sur des capacités préconfigurées pour réaliser plus rapidement certaines tâches, tout en bénéficiant de méthodes explicites et documentées. Au-delà de la vitesse, MAD rend certaines pratiques accessibles à un plus grand nombre de profils, avec un cadre qui facilite l'apprentissage, la réutilisation et la transmission.
- Systématiser les bonnes pratiques. Les skills et les workflows permettent d'intégrer des standards dans la conception des livrables data. Ces standards peuvent porter sur la structure des objets, les conventions de nommage, la documentation, les tests, la qualité, la sécurité ou encore les modalités de déploiement. Ils peuvent être paramétrés pour tenir compte du contexte de l'organisation : stack technique, contraintes réglementaires, niveau de maturité, règles de sécurité ou choix d'architecture.
- Automatiser des productions complexes. Un cas de démonstration consiste à partir d'un jeu de données brut pour produire une architecture médaillon de bout en bout. Le workflow délivre successivement l'analyse des données, la conception et la mise en œuvre de l'ingestion, les contrôles de qualité, le nettoyage, la modélisation sémantique, la transformation vers les couches Silver et Gold, l'orchestration du pipeline et la génération d'insights métier.
- Préserver la portabilité. MAD est conçu autour d'un socle agnostique des plateformes data. Le framework est structuré sous la forme d'un répertoire Git à importer, et peut s'adapter aux outils et aux contraintes de l'environnement cible. Cette portabilité permet d'éviter de reconstruire les mêmes capacités pour chaque plateforme et facilite la capitalisation des méthodes.
Des cas d'usage applicables à toute la chaîne data
Configuration de flux d'ingestion, génération des transformations, mise en place des tests et préparation de l'orchestration, dans un cadre homogène de conception et de documentation.
Construction des couches Bronze, Silver et Gold à partir de données brutes, avec qualification de la source, nettoyage, transformation, modélisation et contrôle.
Gestion des règles de qualité, exécution des contrôles, détection des anomalies, préparation d'un plan de remédiation et suivi des indicateurs.
Classification, protection, revue des accès et gestion de la rétention, avec une déclinaison plus systématique et traçable des exigences de gouvernance.
Évaluation de la readiness, cartographie des ressources, planification des vagues, conversion des workloads et validation de la bascule.
Résultats observés
Un premier ordre de grandeur, mesuré sur les premiers tests.
Sur les premiers tests, la construction d'une architecture médaillon de bout en bout pour un modèle métier constitué de 4 tables et 50 champs est exécutée en 20 minutes, suivant les standards Niji et sans aucune intervention du Data Engineer.
Les apprentissages à l'usage de MAD
Les workflows apportent une maîtrise supplémentaire
Les assistants natifs des plateformes data savent souvent réaliser une grande partie des tâches couvertes par MAD. Leur exécution reste toutefois variable : choix techniques, emplacements de fichiers, méthodes utilisées ou niveau de documentation peuvent différer d'une exécution à l'autre. Les workflows ajoutent une couche d'orchestration déterministe et des points de contrôle.
Les skills doivent être conçus pour être orchestrés
Un skill conçu pour une utilisation spécifique n'est pas nécessairement prêt à être intégré dans une chaîne automatisée. L'expérimentation MAD a montré l'importance de standardiser les contrats d'entrée et de sortie, d'isoler clairement les tâches unitaires et de définir précisément les outputs attendus.
Le harnais compte autant que le modèle
La valeur de MAD tient moins à la recherche d'un modèle capable de tout faire qu'à la construction d'un environnement de travail maîtrisé. Le framework encadre les méthodes utilisées, les emplacements de production, les conventions et les choix techniques autorisés.
Le coût est faible, mais doit être piloté
Les premiers tests font apparaître un coût de l'ordre de quelques dollars pour l'exécution d'un workflow complexe (hors coût de compute). Ce coût d'inférence du LLM est faible au regard du travail réalisé et des gains de temps significatifs par rapport à des opérations manuelles équivalentes, mais il n'est pas négligeable dans une logique industrielle. Un suivi FinOps doit accompagner le framework pour son passage à l'échelle, avec une évaluation régulière de la valeur produite.
Comment activer MAD dans votre organisation ?
MAD est une capacité augmentée qui prolonge l'expertise des équipes. Sa mise à disposition s'accompagne donc d'un dispositif d'appropriation et d'une boucle d'amélioration continue :
Identifier un ou plusieurs cas d'usage éligibles : configuration d'un flux ETL, mise en œuvre d'une architecture médaillon, analyse et remédiation de la qualité des données. Le test est réalisé en comparaison avec les méthodes usuelles, avec des critères de mesure de la qualité et de l'efficacité des travaux définis en amont.
Définir les situations dans lesquelles MAD doit être utilisé, adapter les standards aux pratiques de l'organisation, ajouter les skills et workflows nécessaires, mettre en place un suivi FinOps, former les équipes et ajuster progressivement le paramétrage.
Cette démarche permet de mesurer la valeur réelle du framework dans le contexte de l'organisation, au-delà de la démonstration technologique. Une fois la valeur validée, MAD peut devenir une boîte à outils partagée par les praticiens de la donnée.
Passer à l'action. Vous souhaitez évaluer le potentiel de MAD sur un cas d'usage data concret ? Niji vous accompagne dans le cadrage, l'expérimentation, la mesure de la valeur et le passage à l'échelle.
