Superviser et monitorer les modèles en production (MLFlow, W&B)

• Configurer un environnement de suivi des expériences (MLFlow Tracking).
• Journaliser les hyperparamètres, versions et performances des modèles.
• Automatiser la surveillance de la dérive et des performances en production.
• Utiliser Weights & Biases (W&B) pour visualiser et comparer les runs.
• Générer des rapports d’audit et d’explicabilité.

1. Principes du monitoring ML

• Enjeux de la traçabilité et de la reproductibilité des expériences.
• Découverte de MLFlow et Weights & Biases.
• Mise en pratique : installation locale et suivi d’expériences MLFlow.

2. Journalisation et versioning des expériences

• Tracer les hyperparamètres, métriques et jeux de données.
• Comparer les runs et gérer les versions de modèles.
• Mise en pratique : suivi complet de plusieurs expériences MLFlow.

3. Détection des dérives et suivi des performances

• Automatiser la détection de drift et d’anomalies.
• Configurer des seuils d’alerte et scripts de surveillance.
• Mise en pratique : création d’un dashboard d’alerte en production.

4. Audit et reporting avec W&B

• Visualiser les performances et générer des rapports d’explicabilité.
• Partager les résultats et centraliser le suivi des modèles.
• Mise en pratique : création d’un tableau de bord W&B pour un modèle déployé.

Le formateur évalue la progression des participants tout au long de la formation
à travers des échanges, QCM et études de cas. Un test de positionnement ou
une activité de synthèse permet d’évaluer les acquis en début et fin de session