La data science se décrit comme de la modélisation et consiste surtout en un travail peu glorieux qui doit se faire avant qu'un modèle ne signifie quoi que ce soit.
Le chiffre, et ce qu'est vraiment le métier
Le chiffre de croissance est réel et mérite d'être posé précisément. Le Bureau of Labor Statistics des États-Unis projette une hausse de 33,5 % de l'emploi de data scientist entre 2024 et 2034, soit 82 500 emplois de plus. C'est le taux de croissance projeté le plus élevé parmi les métiers technologiques de son analyse, contre 3,1 % pour l'ensemble des métiers.
Voyons maintenant la forme du travail, que l'intitulé du poste ne rend pas.
Une grande part du temps est consacrée à localiser la donnée à travers des systèmes construits à des fins opérationnelles plutôt qu'analytiques, à comprendre comment chaque champ a réellement été renseigné et par qui, à traiter les valeurs manquantes sans fausser le résultat, à réconcilier un même concept enregistré différemment selon les systèmes, et à déterminer si la donnée peut effectivement répondre à la question posée.
L'essentiel de la data science consiste à établir ce que signifie la donnée. La modélisation arrive une fois que c'est réglé.
Ce n'est pas une plainte sur ce métier. C'est le métier. Et cela explique pourquoi les data scientists dotés d'une connaissance métier sont tellement plus efficaces que ceux qui en manquent : presque chaque jugement de cette liste exige de savoir comment l'entreprise fonctionne réellement.
Ce que couvre la direction
Le périmètre : statistiques, bases de données, Python et R, visualisation et prévision.
Quatre domaines.
Manipulation des données. Requêter, joindre, nettoyer et remodeler, le travail quotidien.
Statistiques. Inférence, incertitude, plan d'expérience, et le raisonnement qui distingue un résultat d'une coïncidence.
Modélisation et prévision. Méthodes prédictives, évaluation, et savoir quand une approche plus simple est préférable.
Communication. Visualisation et capacité à faire qu'un résultat technique change une décision.
Personne ne s'accorde sur ce qu'est un client
La découverte la plus fréquente et la plus coûteuse de l'analytique en entreprise, et c'est un problème de définition avant d'être un problème technique.
Demandez à plusieurs services combien de clients compte l'organisation et les réponses divergent, souvent nettement. Les ventes comptent des comptes. La finance compte des entités de facturation. Le support compte des contacts. Le marketing compte des adresses e-mail. Une maison mère avec six filiales est un client ou six selon qui répond. Quelqu'un qui a résilié le mois dernier figure encore dans un système et a disparu d'un autre.
Cela vaut pour presque toutes les mesures importantes. Utilisateur actif, commande, résiliation, chiffre d'affaires constaté, effectif. Chacune est enregistrée par des systèmes construits à des époques différentes, à des fins différentes, par des gens qui résolvaient un problème différent.
Trois conséquences.
Des rapports en désaccord détruisent la confiance plus vite qu'ils n'informent. Dès que deux tableaux de bord affichent des chiffres différents pour la même chose, les réunions deviennent des disputes sur les données plutôt que des décisions sur l'activité.
La solution, c'est la gouvernance, pas la technologie. Convenir des définitions, les documenter, en attribuer la responsabilité, et les appliquer de façon cohérente. Aucun outil ne fait cela, et en acheter un à la place est la dépense la plus fréquemment gaspillée dans ce domaine.
C'est le travail qui rend tout le reste possible. L'apprentissage automatique sur des données définies de façon incohérente produit des résultats faux avec assurance, et l'incohérence reste invisible dans le résultat.
Les statistiques que l'on saute, et que l'on paie
Les outils modernes facilitent la production d'un résultat sans en comprendre le sens. Quatre concepts préviennent l'essentiel des dégâts qui en résultent.
Corrélation et causalité. Énoncé sans cesse et violé sans cesse. Sous sa forme pratique : une variable associée à un résultat peut être une cause, un effet, partager une cause commune, ou être une coïncidence. Agir sur l'association suppose la première hypothèse, et seule une expérience ou un raisonnement causal rigoureux le justifie.
Effets de sélection. La façon dont la donnée est venue à exister détermine ce qu'elle peut révéler. Analyser les clients restés en dit long sur ceux qui ne sont pas partis. Sonder des répondants en dit long sur les gens prêts à répondre. Étudier des projets réussis sans les échecs produit des conseils qui ne fonctionnent pas.
Incertitude. Toute estimation tirée d'un échantillon a une marge autour d'elle. Rapporter une estimation ponctuelle sans cette marge invite à des décisions que la donnée ne soutient pas, particulièrement quand les segments deviennent petits.
Comparaisons multiples. Testez assez d'hypothèses et certaines paraîtront significatives par hasard. Les tableaux de bord qui découpent selon des dizaines de dimensions génèrent des résultats apparents en continu, et quelqu'un finit par agir dessus.
Ce ne sont pas des sujets avancés. Ce sont la différence entre une analyse qui améliore les décisions et une analyse qui fournit une justification d'apparence autoritaire à ce que quelqu'un voulait déjà faire.
Où cela se situe dans le domaine
Science des données et analytique est la quatrième des huit directions du domaine IA, données et informatique d'Astra Trainer, et c'est le préalable à la direction apprentissage automatique plutôt qu'une version amoindrie de celle-ci. Les modèles ne valent que ce que valent les définitions et la qualité des données qui les sous-tendent.
Elle se connecte à l'ingénierie logicielle pour la couche pipeline et production, et au cloud computing et DevOps pour les plateformes sur lesquelles ce travail tourne. Elle se connecte aussi vers l'extérieur à presque tous les autres domaines, puisque la comptabilité des émissions, les données cliniques, la qualité industrielle et la prévision du réseau électrique sont tous des problèmes de données avec des exigences métier propres. Vous pouvez découvrir les huit directions ici.
Pourquoi tant de modèles ne sont jamais utilisés
Un schéma familier à quiconque a travaillé dans ce domaine : un modèle est construit, performe bien en évaluation, est présenté, et rien ne change.
Les raisons sont rarement techniques.
Il répondait à une question que personne ne posait. L'analyse était pilotée par la donnée disponible plutôt que par une décision que quelqu'un devait prendre.
Il est arrivé après la décision. Une analyse qui prend trois mois pour une décision prise en trois semaines est un exercice académique.
Personne ne pouvait agir sur le résultat. Une prédiction est inutile sans une action correspondante, un responsable, et l'autorité de l'engager.
Il n'inspirait pas confiance. Parce que les définitions divergeaient de celles utilisées par l'audience, ou parce que la méthode était opaque, ou parce qu'une analyse précédente s'était trompée.
Il n'y avait pas de chemin vers la production. Le modèle vivait dans un notebook sur la machine d'une seule personne, et l'ingénierie nécessaire pour le faire tourner de façon fiable n'a jamais été cadrée.
L'implication pour la formation est que les compétences techniques sont nécessaires et insuffisantes. Les capacités qui déterminent si le travail sur les données change quoi que ce soit sont le cadrage du problème, la compréhension des parties prenantes, la communication et la connaissance de ce qu'exige la production, et elles sont enseignables à des gens qui ont déjà la moitié technique.
Les postes, nommés
Analystes de données. Le groupe le plus large et le point d'entrée le plus courant.
Data scientists. Modélisation statistique et expérimentation.
Data engineers. Pipelines et infrastructure, systématiquement plus rares que les data scientists.
Analytics engineers, un poste apparu précisément pour gérer la couche de définition et de transformation.
Développeurs business intelligence.
Spécialistes gouvernance et qualité des données, effectuant le travail de définition décrit plus haut.
Spécialistes expérimentation et inférence causale.
Analystes prévisionnistes, en demande, chaîne logistique, énergie et finance.
Ingénieurs en apprentissage automatique, où la data science rencontre le logiciel de production.
Qui peut être formé pour cela
Les experts métier dans toute l'entreprise. La meilleure conversion de cette direction, et la plus sous-exploitée. Quelqu'un qui travaille depuis dix ans en opérations, en finance, en pratique clinique ou en production sait quelles questions comptent et ce que la donnée risque de dissimuler. Leur enseigner l'analyse est plus rapide et produit un meilleur travail qu'enseigner le métier à un analyste.
Personnel de finance et de comptabilité. Déjà à l'aise avec la donnée, la réconciliation et la précision des définitions, qui constituent l'essentiel de la difficulté.
Analystes et planificateurs opérations. Vers la prévision, avec la connaissance du process qui rend une prévision crédible.
Chercheurs et scientifiques. Déjà formés aux statistiques, avec besoin du contexte commercial et de la pratique d'ingénierie.
Ingénieurs logiciels. Vers le data engineering, le poste le plus rare et le plus proche de leurs compétences existantes que la data science.
Administrateurs de bases de données. Vers le data engineering et la gouvernance.
Quiconque a construit un modèle de feuille de calcul conséquent. Détenant fréquemment une réelle capacité analytique sans voie formelle pour la faire reconnaître.
Protection des données et usage responsable. L'analyse de données personnelles est réglementée dans la plupart des juridictions, avec des exigences couvrant la base légale, la limitation des finalités, la minimisation, la conservation et les droits individuels, et des protections spécifiques pour les catégories de données de santé, biométriques et autres catégories sensibles. Les décisions automatisées affectant des individus emportent des obligations supplémentaires dans plusieurs régimes. L'analyse peut aussi produire des résultats discriminatoires sans intention discriminatoire, via des variables proxy dans la donnée. Astra Trainer développe la capacité analytique et la conscience de ces obligations. Ce n'est pas un conseil juridique et cela ne remplace pas une évaluation de protection des données ni un avis juridique qualifié.
Ce qu'il faut retenir
La data science devrait croître de 33,5 % d'ici 2034, le taux le plus élevé des métiers technologiques suivis par le BLS, et le métier consiste surtout en qualité et définition des données plutôt qu'en modélisation.
La plupart des organisations ne s'accordent pas sur ce qu'est un client, ce qui est un problème de gouvernance qu'aucun outil ne résout.
Quatre idées statistiques, la causalité, la sélection, l'incertitude et les comparaisons multiples, préviennent l'essentiel des dégâts causés par une analyse trop confiante.
Les modèles échouent à être utilisés pour des raisons organisationnelles bien plus souvent que techniques.
Et les meilleurs candidats sont généralement des experts métier qui savent déjà quelle question compte, car c'est la moitié qui ne s'enseigne pas rapidement.
À quelle vitesse la data science croît-elle ?
Le BLS projette 33,5 % de croissance de l'emploi de data scientist entre 2024 et 2034, soit 82 500 emplois de plus, le taux le plus élevé parmi les métiers technologiques qu'il suit, contre 3,1 % pour l'ensemble des métiers.
Pourquoi le travail consiste-t-il autant à nettoyer les données ?
Parce que la donnée est enregistrée par des systèmes opérationnels construits à d'autres fins, les champs sont renseignés de façon incohérente, des valeurs manquent, et un même concept est défini différemment selon les systèmes. Établir ce que signifie la donnée constitue l'essentiel du métier.
Pourquoi les rapports se contredisent-ils ?
Parce que les services définissent différemment les entités centrales. Les ventes comptent des comptes, la finance des entités de facturation, le support des contacts. La solution, ce sont des définitions convenues avec une responsabilité désignée, ce qui relève de la gouvernance plutôt que de la technologie.
Quelles erreurs statistiques causent le plus de dégâts ?
Traiter une corrélation comme une cause, ignorer comment la donnée a été sélectionnée, rapporter des estimations ponctuelles sans incertitude, et trouver une significativité apparente en testant de nombreuses hypothèses à la fois.
Qui se convertit le mieux vers les métiers de la donnée ?
Les experts métier de toute l'entreprise, car savoir quelle question compte est la moitié rare. Puis le personnel de finance, les planificateurs opérations vers la prévision, les chercheurs, et les ingénieurs logiciels vers le data engineering.