Ciência de dados é descrita como modelagem, mas é principalmente o trabalho nada glamouroso que precisa acontecer antes de qualquer modelo significar alguma coisa.
O número, e o que o cargo realmente é
O número de crescimento é real e vale a pena declarar com precisão. O US Bureau of Labor Statistics projeta que o emprego de cientistas de dados cresça 33,5% entre 2024 e 2034, um aumento de 82.500 vagas. Essa é a maior taxa de crescimento projetada entre as ocupações de tecnologia em sua análise, contra 3,1% de crescimento em todas as ocupações.
Agora, o formato do trabalho, que o cargo não transmite.
Boa parte do tempo vai para localizar dados em sistemas construídos para fins operacionais, não de análise, entender como cada campo foi de fato preenchido e por quem, tratar valores ausentes sem distorcer o resultado, reconciliar o mesmo conceito registrado de formas diferentes em sistemas diferentes, e determinar se os dados conseguem sustentar a pergunta que está sendo feita.
A maior parte da ciência de dados é estabelecer o que os dados significam. Modelagem é o que acontece depois que isso está resolvido.
Isso não é uma reclamação sobre a área. É a área. E explica por que cientistas de dados com conhecimento de domínio são tão mais eficazes do que os que não têm: quase todo julgamento dessa lista exige saber como o negócio realmente funciona.
O que a trilha cobre
O escopo: estatística, bancos de dados, Python e R, visualização e previsão.
Quatro áreas.
Manipulação de dados. Consultar, unir, limpar e reformatar, o trabalho do dia a dia.
Estatística. Inferência, incerteza, desenho experimental e o raciocínio que separa um achado de uma coincidência.
Modelagem e previsão. Métodos preditivos, avaliação e saber quando uma abordagem mais simples é melhor.
Comunicação. Visualização e a capacidade de fazer um resultado técnico mudar uma decisão.
Ninguém concorda sobre o que é um cliente
A descoberta mais comum e mais cara em analytics corporativo, e é um problema de definição antes de ser técnico.
Pergunte a vários departamentos quantos clientes a organização tem e as respostas divergem, com frequência bastante. Vendas conta contas. Financeiro conta entidades de faturamento. Suporte conta contatos. Marketing conta endereços de e-mail. Uma matriz com seis subsidiárias é um cliente ou seis, dependendo de quem você pergunta. Alguém que cancelou no mês passado ainda está em um sistema e já sumiu de outro.
O mesmo vale para quase toda métrica importante. Usuário ativo, pedido, cancelamento, receita reconhecida, número de funcionários. Cada uma é registrada por sistemas construídos em momentos diferentes, para fins diferentes, por pessoas que resolviam um problema diferente.
Três consequências.
Relatórios que discordam entre si destroem a confiança mais rápido do que informam. Quando dois painéis mostram números diferentes para a mesma coisa, as reuniões viram discussões sobre os dados em vez de decisões sobre o negócio.
A solução é governança, não tecnologia. Combinar definições, registrá-las, atribuir responsáveis e aplicá-las de forma consistente. Nenhuma ferramenta faz isso, e comprar uma no lugar disso é o gasto mais comumente desperdiçado nessa área.
É o trabalho que torna tudo o mais possível. Machine learning sobre dados definidos de forma inconsistente produz resultados errados com aparência de confiança, e a inconsistência fica invisível no resultado.
A estatística que as pessoas pulam, e pagam por isso
Ferramentas modernas facilitam produzir um resultado sem entender o que ele significa. Quatro conceitos evitam a maior parte do dano resultante.
Correlação e causa. Repetido o tempo todo e violado o tempo todo. Na prática: uma variável associada a um resultado pode ser causa, pode ser efeito, pode compartilhar uma causa comum, ou pode ser coincidência. Agir sobre a associação presume a primeira opção, e só um experimento ou um raciocínio causal cuidadoso justifica isso.
Efeitos de seleção. Como os dados vieram a existir molda o que eles conseguem dizer. Analisar clientes que permaneceram informa sobre quem não saiu. Pesquisar respondentes informa sobre quem estava disposto a responder. Estudar projetos bem-sucedidos sem os malsucedidos produz conselhos que não funcionam.
Incerteza. Toda estimativa vinda de uma amostra tem uma faixa em torno dela. Relatar uma estimativa pontual sem essa faixa convida a decisões que os dados não sustentam, principalmente quando os segmentos ficam pequenos.
Comparações múltiplas. Teste hipóteses suficientes e algumas vão parecer significativas por acaso. Painéis que fatiam por dezenas de dimensões geram achados aparentes continuamente, e alguém age sobre eles.
Esses não são temas avançados. São a diferença entre uma análise que melhora decisões e uma análise que fornece justificativa com ar de autoridade para o que alguém já queria fazer.
Onde isso se encaixa no domínio
Ciência de dados e analytics é a quarta de oito trilhas no domínio de IA, dados e computação da Astra Trainer, e é o pré-requisito da trilha de machine learning, não uma versão menor dela. Modelos são só tão bons quanto as definições e a qualidade de dados que estão por baixo.
Conecta-se com engenharia de software pela camada de pipeline e produção, e com computação em nuvem e DevOps pelas plataformas em que esse trabalho roda. Também se conecta para fora com quase todos os outros domínios, já que contabilidade de emissões, dados clínicos, qualidade de fabricação e previsão de redes elétricas são todos problemas de dados com requisitos de domínio. Você pode ver as oito trilhas aqui.
Por que tantos modelos nunca são usados
Um padrão familiar para quem já trabalhou nessa área: um modelo é construído, tem bom desempenho na avaliação, é apresentado, e nada muda.
Os motivos raramente são técnicos.
Respondeu a uma pergunta que ninguém estava fazendo. A análise foi guiada pelos dados disponíveis, não por uma decisão que alguém precisava tomar.
Chegou depois da decisão. Uma análise que leva três meses para uma decisão tomada em três semanas é um exercício acadêmico.
Ninguém conseguia agir a partir do resultado. Uma previsão é inútil sem uma ação correspondente, um responsável e a autoridade para executá-la.
Não teve confiança. Porque as definições divergiam das que o público usava, ou porque o método era opaco, ou porque uma análise anterior estava errada.
Não havia caminho até a produção. O modelo vivia em um notebook na máquina de uma pessoa, e a engenharia para rodá-lo de forma confiável nunca teve escopo definido.
A implicação para o treinamento é que as habilidades técnicas são necessárias, mas insuficientes. As capacidades que determinam se o trabalho com dados muda alguma coisa são enquadramento do problema, entendimento dos interessados, comunicação e saber o que a produção exige, e essas são ensináveis a quem já tem a metade técnica.
As funções, nomeadas
Analistas de dados. O maior grupo e a porta de entrada mais comum.
Cientistas de dados. Modelagem estatística e experimentação.
Engenheiros de dados. Pipelines e infraestrutura, e consistentemente mais escassos do que cientistas de dados.
Engenheiros de analytics, uma função que surgiu especificamente para tratar a camada de definição e transformação.
Desenvolvedores de business intelligence.
Especialistas em governança e qualidade de dados, fazendo o trabalho de definição descrito acima.
Especialistas em experimentação e inferência causal.
Analistas de previsão, em demanda, cadeia de suprimentos, energia e finanças.
Engenheiros de machine learning, onde ciência de dados encontra software de produção.
Quem pode ser treinado para isso
Especialistas de domínio em toda a empresa. A conversão mais forte nessa trilha, e a mais subutilizada. Alguém que trabalhou em operações, finanças, prática clínica ou fabricação por uma década sabe quais perguntas importam e o que os dados provavelmente estão escondendo. Ensinar análise a essa pessoa é mais rápido e produz trabalho melhor do que ensinar o domínio a um analista.
Equipe de finanças e contabilidade. Já à vontade com dados, reconciliação e precisão de definição, que é a maior parte da dificuldade.
Analistas e planejadores de operações. Para previsão, trazendo o conhecimento de processo que torna uma previsão confiável.
Pesquisadores e cientistas. Formação estatística já presente, precisando do contexto comercial e da prática de engenharia.
Engenheiros de software. Para engenharia de dados, a função mais escassa e mais próxima das habilidades já existentes do que ciência de dados.
Administradores de banco de dados. Para engenharia de dados e governança.
Qualquer pessoa que já construiu um modelo substancial em planilha. Frequentemente com capacidade analítica real e nenhum caminho formal para reconhecê-la.
Proteção de dados e uso responsável. A análise de dados pessoais é regulamentada na maioria das jurisdições, com requisitos cobrindo base legal, limitação de finalidade, minimização, retenção e direitos individuais, e com proteções específicas para categorias de saúde, biométricas e outras sensíveis. Decisões automatizadas que afetam indivíduos carregam obrigações adicionais em vários regimes. A análise também pode produzir resultados discriminatórios sem intenção discriminatória, por meio de variáveis substitutas nos dados. A Astra Trainer constrói capacidade analítica e consciência dessas obrigações. Isso não é aconselhamento jurídico e não substitui uma avaliação de proteção de dados ou orientação profissional qualificada.
O que levar disso
Ciência de dados tem projeção de crescer 33,5% até 2034, a mais rápida entre as ocupações de tecnologia acompanhadas pelo BLS, e o cargo é principalmente qualidade e definição de dados, não modelagem.
A maioria das organizações não consegue concordar sobre o que é um cliente, e isso é um problema de governança que nenhuma ferramenta resolve.
Quatro ideias estatísticas, causalidade, seleção, incerteza e comparações múltiplas, evitam a maior parte do dano que uma análise confiante causa.
Modelos deixam de ser usados por motivos organizacionais muito mais do que técnicos.
E os melhores candidatos costumam ser especialistas de domínio que já sabem qual pergunta importa, porque essa é a metade que não dá para ensinar rapidamente.
Quão rápido a ciência de dados está crescendo?
O BLS projeta 33,5% de crescimento no emprego de cientista de dados entre 2024 e 2034, um aumento de 82.500 vagas e a maior taxa entre as ocupações de tecnologia que acompanha, contra 3,1% em todas as ocupações.
Por que boa parte do trabalho é limpeza de dados?
Porque os dados são registrados por sistemas operacionais construídos para outros fins, os campos são preenchidos de forma inconsistente, faltam valores, e o mesmo conceito é definido de forma diferente entre sistemas. Estabelecer o que os dados significam é a maior parte do trabalho.
Por que os relatórios discordam entre si?
Porque os departamentos definem as entidades centrais de forma diferente. Vendas conta contas, financeiro conta entidades de faturamento, suporte conta contatos. A solução são definições combinadas com responsabilidade registrada, que é governança, não tecnologia.
Quais erros estatísticos causam mais dano?
Tratar correlação como causa, ignorar como os dados foram selecionados, relatar estimativas pontuais sem incerteza, e encontrar significância aparente testando muitas hipóteses de uma vez.
Quem converte melhor para funções de dados?
Especialistas de domínio de toda a empresa, porque saber qual pergunta importa é a metade escassa. Depois equipe de finanças, planejadores de operações para previsão, pesquisadores, e engenheiros de software para engenharia de dados.