Najszybciej rosnący zawód w technologii to głównie porządkowanie danych

Data science opisuje się jako modelowanie, a jest to głównie nieefektowna praca, która musi się wydarzyć, zanim jakikolwiek model cokolwiek znaczy.

Liczba i to, czym naprawdę jest ta praca

Wskaźnik wzrostu jest realny i warto podać go precyzyjnie. Amerykańskie Bureau of Labor Statistics prognozuje wzrost zatrudnienia data scientistów o 33,5 procent między 2024 a 2034 rokiem – to 82 500 nowych etatów. To najwyższe prognozowane tempo wzrostu wśród zawodów technologicznych w jego analizie, wobec 3,1 procent wzrostu we wszystkich zawodach.

Teraz kształt tej pracy, którego nazwa stanowiska nie oddaje.

Duża część czasu idzie na zlokalizowanie danych w systemach zbudowanych do celów operacyjnych, a nie analitycznych, zrozumienie, jak dane pole było faktycznie wypełniane i przez kogo, obsługę brakujących wartości w sposób, który nie zniekształca wyniku, godzenie tego samego pojęcia zapisanego inaczej w różnych systemach oraz ustalenie, czy dane w ogóle mogą odpowiedzieć na zadane pytanie.

To nie skarga na tę dziedzinę. To jest ta dziedzina. I tłumaczy, dlaczego data scientiści z wiedzą dziedzinową są tak dużo skuteczniejsi od tych bez niej: niemal każdy osąd z tej listy wymaga wiedzy, jak biznes naprawdę działa.

Co obejmuje ten kierunek

Zakres: statystyka, bazy danych, Python i R, wizualizacja i prognozowanie.

Cztery obszary.

Praca z danymi. Zapytania, łączenie, czyszczenie i przekształcanie – codzienna praca.

Statystyka. Wnioskowanie, niepewność, projektowanie eksperymentów i rozumowanie odróżniające odkrycie od zbiegu okoliczności.

Modelowanie i prognozowanie. Metody predykcyjne, ewaluacja i wiedza, kiedy prostsze podejście jest lepsze.

Komunikacja. Wizualizacja i umiejętność sprawienia, żeby techniczny wynik zmienił decyzję.

Nikt nie zgadza się, czym jest klient

Najczęstsze i najdroższe odkrycie w korporacyjnej analityce, i jest to problem definicyjny, nie techniczny.

Zapytaj kilka działów, ilu klientów ma organizacja, a odpowiedzi będą się różnić, często znacznie. Sprzedaż liczy konta. Finanse liczą podmioty rozliczeniowe. Wsparcie liczy kontakty. Marketing liczy adresy e-mail. Spółka-matka z sześcioma spółkami zależnymi to jeden klient albo sześciu, w zależności od tego, kogo się zapyta. Ktoś, kto zrezygnował w zeszłym miesiącu, wciąż jest w jednym systemie i już go nie ma w innym.

To samo dotyczy niemal każdej ważnej miary. Aktywny użytkownik, zamówienie, churn, ujęty przychód, liczba zatrudnionych. Każda jest rejestrowana przez systemy zbudowane w różnym czasie, do różnych celów, przez ludzi rozwiązujących inny problem.

Trzy konsekwencje.

Raporty, które się nie zgadzają, niszczą zaufanie szybciej, niż informują. Gdy dwa dashboardy pokazują różne liczby dla tej samej rzeczy, spotkania zamieniają się w spory o dane zamiast decyzji o biznesie.

Naprawą jest governance, nie technologia. Uzgodnienie definicji, ich zapisanie, przypisanie właściciela i konsekwentne stosowanie. Żadne narzędzie tego nie robi, a kupienie narzędzia zamiast tego to najczęstszy zmarnowany wydatek w tym obszarze.

To praca, która umożliwia wszystko inne. Uczenie maszynowe na niespójnie zdefiniowanych danych daje pewne siebie, a błędne wyniki, i ta niespójność jest niewidoczna w samym wyniku.

Statystyka, którą ludzie pomijają i za to płacą

Nowoczesne narzędzia ułatwiają uzyskanie wyniku bez zrozumienia, co on znaczy. Cztery koncepcje zapobiegają większości wynikających z tego szkód.

Korelacja i przyczynowość. Powtarzane bez przerwy i bez przerwy łamane. W praktyce zmienna powiązana z wynikiem może być przyczyną, może być skutkiem, może mieć wspólną przyczynę z wynikiem albo może to być zbieg okoliczności. Działanie na podstawie samego powiązania zakłada to pierwsze, a uzasadnia to jedynie eksperyment albo staranne rozumowanie przyczynowe.

Efekty selekcji. To, jak dane powstały, kształtuje, co mogą powiedzieć. Analiza klientów, którzy zostali, mówi o ludziach, którzy nie odeszli. Ankieta wśród respondentów mówi o ludziach chętnych odpowiadać. Studiowanie udanych projektów bez tych nieudanych daje rady, które nie działają.

Niepewność. Każde oszacowanie z próby ma wokół siebie przedział. Podanie punktowego oszacowania bez tego przedziału zachęca do decyzji, których dane nie wspierają, szczególnie gdy segmenty robią się małe.

Wielokrotne porównania. Przetestuj wystarczająco dużo hipotez, a niektóre okażą się istotne przez przypadek. Dashboardy, które dzielą dane na dziesiątki wymiarów, generują pozorne odkrycia bez przerwy, a ktoś na ich podstawie działa.

To nie są zaawansowane tematy. To różnica między analizą, która poprawia decyzje, a analizą, która daje brzmiące autorytatywnie uzasadnienie dla tego, czego ktoś już chciał.

Gdzie to się mieści w domenie

Data science i analityka to czwarty z ośmiu kierunków w domenie AI, danych i informatyki Astra Trainer, i jest warunkiem wstępnym dla kierunku uczenia maszynowego, a nie jego mniejszą wersją. Modele są tak dobre, jak definicje i jakość danych pod nimi.

Łączy się z inżynierią oprogramowania w zakresie warstwy pipeline'ów i produkcji oraz z cloud computingiem i DevOps w zakresie platform, na których ta praca działa. Łączy się też na zewnątrz z niemal każdą inną domeną, bo rozliczanie emisji, dane kliniczne, jakość w produkcji i prognozowanie sieci energetycznych to wszystko problemy danych z wymaganiami dziedzinowymi. Zobacz osiem kierunków tutaj.

Dlaczego tak wiele modeli nigdy nie jest używanych

Wzorzec znany każdemu, kto pracował w tym obszarze: model powstaje, dobrze wypada w ewaluacji, jest prezentowany, i nic się nie zmienia.

Powody rzadko są techniczne.

Odpowiedział na pytanie, którego nikt nie zadawał. Analizę napędzały dostępne dane, nie decyzja, którą ktoś musiał podjąć.

Przyszedł po decyzji. Analiza trwająca trzy miesiące dla decyzji podjętej w trzy tygodnie to ćwiczenie akademickie.

Nikt nie mógł nic zrobić z wynikiem. Prognoza jest bezużyteczna bez odpowiadającego jej działania, właściciela i uprawnień, żeby je podjąć.

Nikt jej nie zaufał. Bo definicje nie zgadzały się z tymi, których używał odbiorca, albo bo metoda była nieprzejrzysta, albo bo poprzednia analiza się myliła.

Nie było ścieżki do produkcji. Model żył w notatniku na komputerze jednej osoby, a inżynierię, żeby uruchomić go niezawodnie, nigdy nie zaplanowano.

Wniosek dla szkoleń jest taki, że kompetencje techniczne są konieczne, ale niewystarczające. Kompetencje, które decydują, czy praca z danymi cokolwiek zmienia, to formułowanie problemu, rozumienie interesariuszy, komunikacja i wiedza, czego wymaga produkcja, a tego wszystkiego da się nauczyć ludzi, którzy mają już połowę techniczną.

Role, nazwane wprost

Analitycy danych. Największa grupa i najczęstszy punkt wejścia.

Data scientiści. Modelowanie statystyczne i eksperymentowanie.

Inżynierowie danych. Pipeline'y i infrastruktura, konsekwentnie w krótszej podaży niż data scientiści.

Inżynierowie analityki, rola powstała specjalnie do obsługi warstwy definicji i transformacji.

Deweloperzy business intelligence.

Specjaliści od governance i jakości danych, wykonujący opisaną powyżej pracę definicyjną.

Specjaliści od eksperymentów i wnioskowania przyczynowego.

Analitycy prognostyczni, w popycie, łańcuchu dostaw, energetyce i finansach.

Inżynierowie uczenia maszynowego, gdzie data science spotyka się z oprogramowaniem produkcyjnym.

Kogo można w to przeszkolić

Eksperci dziedzinowi z całej firmy. Najsilniejsze przekwalifikowanie w tym kierunku, i najbardziej niedoceniane. Ktoś, kto pracował w operacjach, finansach, praktyce klinicznej czy produkcji przez dekadę, wie, które pytania mają znaczenie i co dane prawdopodobnie ukrywają. Nauczenie go analizy jest szybsze i daje lepszy efekt niż nauczenie analityka dziedziny.

Personel finansów i księgowości. Już swobodnie posługujący się danymi, uzgadnianiem i precyzją definicyjną, czyli większością trudności.

Analitycy i planiści operacyjni. W stronę prognozowania, mając wiedzę procesową, która czyni prognozę wiarygodną.

Badacze i naukowcy. Wykształcenie statystyczne już obecne, potrzebują kontekstu komercyjnego i praktyki inżynierskiej.

Inżynierowie oprogramowania. W stronę inżynierii danych – rzadszej roli i bliższej ich obecnym umiejętnościom niż data science.

Administratorzy baz danych. W stronę inżynierii danych i governance.

Każdy, kto zbudował rozbudowany model w arkuszu kalkulacyjnym. Często mający realną zdolność analityczną i żadnej formalnej ścieżki, żeby ją rozpoznać.

Co z tego wynieść

Data science ma rosnąć o 33,5 procent do 2034 roku, najszybciej wśród zawodów technologicznych śledzonych przez BLS, a ta praca to głównie jakość i definicja danych, nie modelowanie.

Większość organizacji nie może uzgodnić, czym jest klient, i to jest problem governance, którego nie rozwiąże żadne narzędzie.

Cztery idee statystyczne – przyczynowość, selekcja, niepewność i wielokrotne porównania – zapobiegają większości szkód wyrządzanych przez pewną siebie analizę.

Modele nie są używane z powodów organizacyjnych dużo częściej niż z technicznych.

A najlepszymi kandydatami są zwykle eksperci dziedzinowi, którzy już wiedzą, które pytanie ma znaczenie, bo to jest ta połowa, której nie da się szybko nauczyć.