La data science viene descritta come modellazione ed è per lo più il lavoro poco affascinante che deve avvenire prima che un modello abbia un significato qualsiasi.
Il numero, e cos'è davvero il lavoro
Il dato di crescita è reale e vale la pena riportarlo con precisione. Il Bureau of Labor Statistics statunitense prevede che l'occupazione dei data scientist cresca del 33,5% tra il 2024 e il 2034, pari a 82.500 posti in più. È il tasso di crescita previsto più alto tra le professioni tech nella sua analisi, contro una crescita del 3,1% per tutte le professioni.
Ora la forma del lavoro, che il titolo non trasmette.
Gran parte del tempo va nel localizzare dati in sistemi costruiti per scopi operativi e non di analisi, capire come ogni campo è stato effettivamente popolato e da chi, gestire i valori mancanti senza distorcere il risultato, riconciliare lo stesso concetto registrato diversamente in sistemi diversi, e determinare se i dati possono davvero sostenere la domanda posta.
Gran parte della data science consiste nello stabilire cosa significano i dati. La modellazione avviene dopo, una volta che questo è chiarito.
Non è una lamentela sul settore. È il settore. E spiega perché i data scientist con conoscenza di dominio sono molto più efficaci di quelli senza: quasi ogni giudizio in quella lista richiede di sapere come funziona davvero il business.
Cosa copre la direzione
L'ambito: statistica, database, Python e R, visualizzazione e previsione.
Quattro aree.
Gestione dei dati. Interrogare, unire, pulire e rimodellare, il lavoro quotidiano.
Statistica. Inferenza, incertezza, disegno sperimentale e il ragionamento che separa un risultato da una coincidenza.
Modellazione e previsione. Metodi predittivi, valutazione e sapere quando un approccio più semplice è meglio.
Comunicazione. Visualizzazione e la capacità di far cambiare una decisione grazie a un risultato tecnico.
Nessuno è d'accordo su cosa sia un cliente
La scoperta più comune e più costosa nell'analytics aziendale, ed è un problema di definizione più che tecnico.
Chiedi a diversi reparti quanti clienti ha l'organizzazione e le risposte differiscono, spesso in modo sostanziale. Le vendite contano gli account. La finanza conta le entità di fatturazione. Il supporto conta i contatti. Il marketing conta gli indirizzi email. Una capogruppo con sei controllate è un cliente o sei, a seconda di chi lo chiedi. Chi ha disdetto il mese scorso è ancora in un sistema e sparito da un altro.
Lo stesso vale per quasi ogni misura importante. Utente attivo, ordine, abbandono, ricavo riconosciuto, numero di dipendenti. Ognuna è registrata da sistemi costruiti in momenti diversi per scopi diversi, da persone che risolvevano un problema diverso.
Tre conseguenze.
I report in disaccordo distruggono la fiducia più in fretta di quanto informino. Una volta che due dashboard mostrano numeri diversi per la stessa cosa, le riunioni diventano discussioni sui dati invece che decisioni sul business.
La soluzione è governance, non tecnologia. Concordare le definizioni, registrarle, assegnarne la proprietà e applicarle con coerenza. Nessuno strumento fa questo da solo, e comprarne uno al posto di farlo è la spesa sprecata più comune in quest'area.
È il lavoro che rende possibile tutto il resto. Il machine learning su dati definiti in modo incoerente produce output sbagliati detti con sicurezza, e l'incoerenza è invisibile nell'output.
La statistica che si salta, e si paga
Gli strumenti moderni rendono facile produrre un risultato senza capire cosa significhi. Quattro concetti prevengono gran parte del danno che ne consegue.
Correlazione e causalità. Ripetuto di continuo e violato di continuo. La forma pratica è che una variabile associata a un esito può essere una causa, può essere un effetto, può condividere una causa comune, o può essere una coincidenza. Agire sull'associazione presume la prima ipotesi, e solo un esperimento o un ragionamento causale attento la giustifica.
Effetti di selezione. Come sono nati i dati determina cosa possono dirti. Analizzare i clienti rimasti ti parla di chi non se n'è andato. Interpellare chi risponde a un sondaggio ti parla di chi è disposto a rispondere. Studiare i progetti riusciti senza quelli falliti produce consigli che non funzionano.
Incertezza. Ogni stima da un campione ha un intervallo intorno a sé. Riportare una stima puntuale senza quell'intervallo invita decisioni che i dati non sostengono, soprattutto quando i segmenti diventano piccoli.
Confronti multipli. Testa abbastanza ipotesi e alcune sembreranno significative per caso. Le dashboard che tagliano i dati su decine di dimensioni generano continuamente risultati apparenti, e qualcuno ci agisce sopra.
Non sono argomenti avanzati. Sono la differenza tra un'analisi che migliora le decisioni e un'analisi che fornisce una giustificazione dal suono autorevole a qualcosa che qualcuno voleva già fare.
Dove si colloca nel dominio
Data science e analytics è la quarta di otto direzioni nel dominio IA, dati e computing di Astra Trainer, ed è il prerequisito della direzione machine learning più che una sua versione minore. I modelli valgono solo quanto le definizioni e la qualità dei dati sottostanti.
Si collega all'ingegneria del software per lo strato di pipeline e produzione, e al cloud computing e DevOps per le piattaforme su cui gira questo lavoro. Si collega anche verso l'esterno a quasi ogni altro dominio, perché la contabilità delle emissioni, i dati clinici, la qualità manifatturiera e le previsioni di rete elettrica sono tutti problemi di dati con requisiti di dominio. Puoi vedere qui le otto direzioni.
Perché così tanti modelli non vengono mai usati
Uno schema familiare a chiunque abbia lavorato in quest'area: un modello viene costruito, va bene in valutazione, viene presentato, e non cambia nulla.
I motivi raramente sono tecnici.
Ha risposto a una domanda che nessuno stava facendo. L'analisi era guidata dai dati disponibili invece che da una decisione che qualcuno doveva prendere.
È arrivata dopo la decisione. Un'analisi che richiede tre mesi per una decisione presa in tre settimane è un esercizio accademico.
Nessuno poteva agire sull'output. Una previsione è inutile senza un'azione corrispondente, un responsabile e l'autorità di intraprenderla.
Non era attendibile. Perché le definizioni non coincidevano con quelle usate dal pubblico, o perché il metodo era opaco, o perché un'analisi precedente si era rivelata sbagliata.
Non c'era un percorso verso la produzione. Il modello viveva in un notebook sulla macchina di una persona, e l'ingegneria per farlo girare in modo affidabile non è mai stata definita.
L'implicazione per la formazione è che le competenze tecniche sono necessarie ma non sufficienti. Le capacità che determinano se il lavoro sui dati cambia qualcosa sono l'inquadramento del problema, la comprensione degli stakeholder, la comunicazione e sapere cosa richiede la produzione, e sono insegnabili a chi ha già la metà tecnica.
I ruoli, nominati
Data analyst. Il gruppo più ampio e il punto d'ingresso più comune.
Data scientist. Modellazione statistica e sperimentazione.
Data engineer. Pipeline e infrastruttura, e sistematicamente più scarsi dei data scientist.
Analytics engineer, un ruolo nato apposta per gestire lo strato di definizione e trasformazione.
Sviluppatori di business intelligence.
Specialisti di data governance e qualità, che svolgono il lavoro di definizione descritto sopra.
Specialisti di sperimentazione e inferenza causale.
Analisti di previsione, in ambito domanda, supply chain, energia e finanza.
Machine learning engineer, dove la data science incontra il software di produzione.
Chi può essere formato per questo
Esperti di dominio in tutta l'azienda. La conversione più solida di questa direzione, e la più sottoutilizzata. Chi ha lavorato per un decennio in operations, finanza, pratica clinica o produzione sa quali domande contano e cosa probabilmente nascondono i dati. Insegnare loro l'analisi è più veloce e produce un lavoro migliore che insegnare il dominio a un analista.
Personale di finanza e contabilità. Già a proprio agio con dati, riconciliazione e precisione definitoria, che è gran parte della difficoltà.
Analisti e pianificatori di operations. Verso la previsione, con la conoscenza di processo che rende una previsione credibile.
Ricercatori e scienziati. Già formati sulla statistica, con bisogno del contesto commerciale e della pratica ingegneristica.
Ingegneri software. Verso il data engineering, il ruolo più scarso e più vicino alle loro competenze esistenti rispetto alla data science.
Amministratori di database. Verso data engineering e governance.
Chiunque abbia costruito un modello sostanzioso su foglio di calcolo. Spesso possiede una vera capacità analitica senza un percorso formale per farla riconoscere.
Protezione dei dati e uso responsabile. L'analisi dei dati personali è regolamentata nella maggior parte delle giurisdizioni, con requisiti su base giuridica, limitazione della finalità, minimizzazione, conservazione e diritti individuali, e con protezioni specifiche per le categorie sanitarie, biometriche e altre categorie sensibili. Le decisioni automatizzate che riguardano le persone comportano obblighi aggiuntivi in diversi regimi. L'analisi può anche produrre esiti discriminatori senza intenzione discriminatoria, attraverso variabili proxy nei dati. Astra Trainer costruisce capacità analitica e consapevolezza di questi obblighi. Non è consulenza legale e non sostituisce una valutazione sulla protezione dei dati o un parere qualificato.
Cosa portare a casa
La data science è prevista in crescita del 33,5% fino al 2034, la più veloce tra le professioni tech monitorate dal BLS, e il lavoro è soprattutto qualità dei dati e definizioni più che modellazione.
La maggior parte delle organizzazioni non riesce a mettersi d'accordo su cosa sia un cliente, ed è un problema di governance che nessuno strumento risolve.
Quattro idee statistiche, causalità, selezione, incertezza e confronti multipli, prevengono gran parte del danno che l'analisi sicura di sé può causare.
I modelli restano inutilizzati per motivi organizzativi molto più spesso che tecnici.
E i migliori candidati sono di solito esperti di dominio che sanno già quale domanda conta, perché quella è la metà che non si può insegnare in fretta.
Quanto sta crescendo la data science?
Il BLS prevede una crescita del 33,5% nell'occupazione dei data scientist tra il 2024 e il 2034, pari a 82.500 posti in più e il tasso più alto tra le professioni tech monitorate, contro il 3,1% di tutte le professioni.
Perché così tanto del lavoro è pulizia dei dati?
Perché i dati sono registrati da sistemi operativi costruiti per altri scopi, i campi sono popolati in modo incoerente, i valori mancano, e lo stesso concetto è definito diversamente tra i sistemi. Stabilire cosa significano i dati è gran parte del lavoro.
Perché i report sono in disaccordo tra loro?
Perché i reparti definiscono le entità fondamentali in modo diverso. Le vendite contano gli account, la finanza le entità di fatturazione, il supporto i contatti. La soluzione sono definizioni concordate con una proprietà registrata, che è governance più che tecnologia.
Quali errori statistici causano più danni?
Trattare la correlazione come causa, ignorare come sono stati selezionati i dati, riportare stime puntuali senza incertezza, e trovare significatività apparente testando molte ipotesi insieme.
Chi si converte meglio verso ruoli sui dati?
Gli esperti di dominio da tutta l'azienda, perché sapere quale domanda conta è la metà scarsa. Poi il personale di finanza, i pianificatori di operations verso la previsione, i ricercatori, e gli ingegneri software verso il data engineering.