Comment une formation de data analyst aborde-t-elle les données manquantes ?

Dans une formation sérieuse de data analyst, les données manquantes ne sont pas présentées comme un simple problème de tableur à corriger au plus vite. Elles constituent un sujet central de qualité, de statistique et de décision : une case vide peut signaler une erreur de saisie, une question non posée, un refus de répondre, une rupture technique ou une réalité métier. L’objectif pédagogique est donc d’apprendre à passer d’un constat — « il manque des valeurs » — à une décision traçable, proportionnée et adaptée à l’usage final de l’analyse.

Pourquoi les valeurs absentes exigent une vraie démarche analytique

Une donnée manquante est une valeur qui aurait dû figurer dans un jeu de données, mais qui n’est pas disponible sous une forme exploitable. Cette définition paraît simple, mais elle impose une première vigilance : une cellule vide, un NULL en base de données, une chaîne comme « N/A », un tiret, une date impossible ou le chiffre zéro ne veulent pas nécessairement dire la même chose.

Une formation apprend donc à normaliser les représentations de l’absence avant toute analyse. Dans un fichier de ventes, zéro peut représenter une vente réellement nulle ; dans une enquête, il peut être un code de non-réponse ; dans une mesure de température, il peut être physiquement incohérent et révéler un capteur défaillant. Confondre ces situations revient à modifier le sens des données sans s’en apercevoir.

Les conséquences dépassent largement l’esthétique d’un tableau incomplet. Des absences mal traitées peuvent :

• réduire fortement la taille effective de l’échantillon ;
• déformer une moyenne, une proportion, un taux de conversion ou une distribution ;
• exclure de façon disproportionnée certains profils de clients, de patients, de territoires ou de produits ;
• affaiblir les performances ou la stabilité d’un modèle prédictif ;
• conduire un décideur à prendre une mesure fondée sur un sous-ensemble non représentatif.

Le rôle du data analyst n’est pas de produire un jeu de données artificiellement complet. Il est de préserver autant que possible la qualité de l’information, tout en rendant explicites les limites des conclusions.

Diagnostiquer avant de corriger : l’étape fondatrice de la formation

Une bonne formation ne commence pas par une commande d’imputation. Elle commence par un audit. L’apprenant explore le schéma des données, le dictionnaire de variables, les règles de collecte et le contexte métier. Il quantifie ensuite les valeurs absentes par colonne, par ligne, par période, par source et, lorsque cela a du sens, par segment de population.

Cette exploration répond à des questions concrètes : les absences se concentrent-elles dans une importation précise ? Apparaissent-elles après une modification de formulaire ? Concernent-elles davantage les nouveaux clients, les commandes mobiles ou certaines régions ? Une variable est-elle presque toujours renseignée, sauf pour une catégorie où elle ne devrait logiquement pas exister ?

Distinguer absence, impossibilité et non-applicabilité

Les formations les plus utiles apprennent à séparer plusieurs cas qui appellent des traitements différents :

• Valeur réellement inconnue : l’information aurait pu être recueillie, mais elle ne l’a pas été.
• Valeur non applicable : par exemple, la date de résiliation pour un abonnement toujours actif. Ce n’est pas une information manquante au sens statistique ; elle doit être codée et documentée comme telle.
• Absence structurelle : une question conditionnelle n’est pas posée à certains répondants. La logique du questionnaire ou du processus explique le vide.
• Valeur invalide ou aberrante : une date future impossible, un âge négatif ou un identifiant vide ne sont pas nécessairement des données manquantes, mais ils exigent une règle de qualité distincte.

Les visualisations sont particulièrement formatrices à ce stade : matrice de complétude, barres de taux d’absence, séries temporelles, croisements par segment et cartes de chaleur aident à détecter des motifs. Elles ne prouvent pas la cause d’une absence, mais elles évitent de considérer le problème variable par variable, alors que les manques surviennent souvent ensemble.

Relier l’audit à la chaîne de production de la donnée

Le diagnostic doit remonter à la source. Une valeur peut manquer parce qu’un champ n’était pas obligatoire, parce qu’un outil tiers n’a pas transmis l’information, parce qu’une jointure SQL a écarté des enregistrements, ou parce qu’une personne a refusé de répondre. Cette enquête est essentielle : corriger le flux de collecte est souvent préférable à compenser indéfiniment ses défauts dans les analyses.

Les apprenants sont aussi sensibilisés à la gouvernance : propriétaire de la donnée, définition métier, date de mise à jour, règle de saisie, transformation appliquée et niveau de confidentialité. Sans ce contexte, une procédure techniquement correcte peut rester inadéquate.

Comprendre MCAR, MAR et MNAR sans simplifier à l’excès

Les notions de MCAR, MAR et MNAR donnent un cadre statistique pour raisonner sur l’origine des absences. Elles figurent dans les programmes de data analytics parce qu’elles empêchent de traiter toutes les cellules vides de la même façon. Mais elles doivent être enseignées avec prudence : dans un jeu de données réel, le mécanisme exact est rarement démontrable avec certitude.

Le terme MAR est souvent mal compris. Il ne signifie pas que les manques apparaissent « au hasard » dans l’absolu. Il signifie qu’après avoir tenu compte de variables connues, l’absence peut être expliquée par celles-ci. Par exemple, si le revenu est moins souvent renseigné chez certains groupes d’âge déjà observés, une stratégie peut intégrer l’âge et d’autres variables explicatives dans l’imputation.

Le cas MNAR est plus délicat. Dans une enquête, les personnes aux revenus très élevés ou très faibles peuvent être moins enclines à déclarer leur revenu précisément en raison de cette valeur elle-même. Les données disponibles seules ne permettent généralement pas de trancher définitivement entre MAR et MNAR. Une formation rigoureuse enseigne alors l’analyse de sensibilité, la consultation des experts métier et la formulation prudente des résultats, plutôt qu’une prétendue correction parfaite.

Choisir une stratégie : suppression, imputation ou modèle adapté

Après le diagnostic, la formation conduit l’apprenant à choisir une méthode en fonction du volume et du motif d’absence, du type de variable, de la taille du jeu de données, de la finalité — description, inférence statistique, prévision, reporting — et du coût d’une erreur. Il n’existe pas de règle universelle du type « au-delà de tel pourcentage, supprimer la colonne ». Une variable peu renseignée peut être stratégique ; une variable très complète peut être inutilisable si sa définition a changé.

Les méthodes enseignées, de la plus simple à la plus robuste

Les méthodes de base sont utiles pédagogiquement, à condition de savoir ce qu’elles font. Remplacer une variable numérique par sa moyenne est rapide, mais tire les valeurs vers le centre et sous-estime la dispersion. La médiane résiste mieux aux distributions asymétriques et aux valeurs extrêmes. Pour une catégorie, le mode peut servir dans un cas simple, mais il renforce la modalité majoritaire. Dans certaines situations, une catégorie explicite « non renseigné » est plus honnête, notamment si le fait de ne pas répondre est informatif.

Les formations approfondies abordent ensuite des méthodes conditionnelles : imputation par groupe cohérent, régression, voisins les plus proches, arbres ou autres modèles. Elles peuvent mieux respecter les relations observées entre variables, mais ne deviennent pas automatiquement fiables parce qu’elles sont sophistiquées. Un modèle d’imputation mal paramétré, alimenté par des variables non pertinentes ou appliqué à des données temporelles sans respecter l’ordre des dates peut produire des valeurs plausibles en apparence et fausses en pratique.

Pour les analyses statistiques où l’incertitude importe, l’imputation multiple est une notion majeure. Au lieu de créer une seule version « complétée » du jeu de données, elle produit plusieurs imputations plausibles, réalise l’analyse sur chacune, puis combine les résultats. Cette approche reflète mieux l’incertitude liée aux données manquantes qu’un unique remplissage déterministe. Elle suppose toutefois un cadre méthodologique solide et n’élimine pas le risque posé par un mécanisme MNAR.

Les pièges spécifiques aux données réelles

La méthode doit respecter la structure des données. Une série temporelle ne doit pas être complétée en utilisant des informations disponibles seulement dans le futur. Des données de plusieurs magasins, patients ou entreprises nécessitent parfois une imputation tenant compte des groupes. Des variables catégorielles, textuelles, géographiques et numériques ne s’imputent pas avec les mêmes règles. Enfin, une variable cible — celle que l’on cherche à prédire — doit être traitée avec une prudence particulière : supprimer, recoder ou imputer des cibles manquantes peut changer la population sur laquelle porte le modèle.

Apprendre un workflow reproductible avec SQL, Python et R

Les outils font partie de la formation, mais ils viennent après le raisonnement. En SQL, le data analyst apprend à repérer les NULL, à vérifier les effets de jointures et à produire des tableaux de complétude. En Python, des bibliothèques de manipulation de données permettent de standardiser les valeurs manquantes, de les visualiser et de construire des pipelines d’imputation. En R, les fonctions d’analyse exploratoire et les outils dédiés à l’imputation multiple sont couramment employés dans des contextes statistiques.

L’enjeu commun est la reproductibilité. Plutôt que de corriger manuellement un export, l’apprenant construit une chaîne de traitement versionnée et relançable :

1. conserver une copie brute, protégée de toute modification ;
2. standardiser les codes d’absence et contrôler les types de variables ;
3. établir un rapport de qualité et formuler des hypothèses sur les mécanismes ;
4. séparer les données d’entraînement, de validation et de test si un modèle est envisagé ;
5. ajuster l’imputation uniquement sur la partie d’entraînement ;
6. appliquer ensuite exactement la même transformation aux autres jeux ;
7. enregistrer les règles, versions, paramètres et résultats de contrôle.

Cette séparation est capitale en machine learning. Calculer une moyenne, choisir des voisins ou entraîner un imputeur sur l’ensemble des données avant la validation revient à laisser des informations du jeu de test influencer la préparation. C’est une fuite de données : les performances mesurées risquent d’être trop optimistes et de ne pas se retrouver en production.

Valider le traitement et rendre les conclusions défendables

Une formation de data analyst doit aller jusqu’à l’évaluation post-traitement. Un jeu sans cellules vides n’est pas, par définition, un jeu fiable. Le premier contrôle consiste à vérifier les contraintes métier : dates cohérentes, catégories autorisées, plages de valeurs réalistes, cohérence entre variables liées. Une valeur imputée ne doit jamais violer une règle que la donnée observée respecte.

On compare ensuite les distributions avant et après traitement : moyenne, médiane, quantiles, proportions par catégorie, dispersion et relations importantes entre variables. L’objectif n’est pas d’obtenir des graphiques identiques, car l’échantillon et le traitement ont changé, mais de détecter une déformation injustifiée. Les indicateurs de données manquantes peuvent également être intégrés à l’analyse ou au modèle afin d’évaluer si l’absence porte un signal propre.

Lorsque des valeurs observées sont disponibles, un exercice pédagogique très utile consiste à en masquer volontairement une partie, puis à comparer les valeurs imputées aux valeurs réelles. Ce test ne reproduit pas nécessairement le véritable mécanisme de manque, mais il permet de comparer plusieurs méthodes dans un cadre contrôlé. Pour un modèle prédictif, on évalue surtout la performance sur une partition restée intacte, avec le pipeline complet.

L’analyse de sensibilité complète le dispositif : que devient la conclusion si l’on travaille sur les cas complets ? Si l’on utilise une imputation simple, puis une imputation multiple ou une règle métier raisonnable ? Si les résultats changent fortement, cette instabilité doit être rapportée. Elle peut être plus importante pour la décision que le choix d’un algorithme particulier.

La bonne question n’est pas « quelle méthode remplit le mieux les vides ? », mais « quelles conclusions restent solides malgré l’incertitude créée par ces vides ? »

Ce qu’un futur data analyst doit savoir expliquer à son équipe

Au terme de l’apprentissage, la compétence attendue n’est pas seulement technique. Un analyste doit pouvoir expliquer clairement ce qui manquait, où, pourquoi cela semble arriver, quelle méthode a été choisie, quelles hypothèses elle implique et quelles limites subsistent. Cette restitution est particulièrement importante pour les domaines sensibles, les tableaux de bord de pilotage et les décisions qui affectent des personnes.

Un livrable professionnel inclut idéalement un journal de traitement : définition des codes manquants, période couverte, taux de complétude par variable, logique des exclusions, méthode d’imputation, variables utilisées, contrôles effectués et impact connu sur les résultats. Il évite ainsi qu’une équipe ultérieure interprète une valeur estimée comme une observation brute.

La meilleure formation encourage enfin une approche préventive. Elle rapproche l’analyste des équipes produit, métier, collecte et ingénierie pour clarifier les champs, limiter les saisies ambiguës, suivre les ruptures de flux et concevoir des contrôles en amont. Traiter les données manquantes est indispensable ; réduire leur apparition à la source est souvent la solution la plus durable.