Machine Learning além dos algoritmos: por que a maioria dos profissionais aprende da forma errada

Imagine que uma empresa peça para sua equipe desenvolver um modelo de Machine Learning para reduzir a inadimplência. Primeiro, será que ela pediria um modelo de Machine Learning?

Qual seria o primeiro passo? Escolher entre XGBoost, LightGBM ou Redes Neurais? A resposta é não. E esse é justamente um dos maiores equívocos de quem está começando na área.

Quando alguém decide estudar Machine Learning, normalmente o caminho parece bastante claro.

Começa aprendendo Python, depois Pandas, NumPy, Scikit-Learn, alguns algoritmos como Regressão Linear, Árvores de Decisão, Random Forest, XGBoost, Redes Neurais e, por fim, aprende a medir métricas como Accuracy, Precision, Recall e AUC.

Após alguns cursos, consegue construir modelos com poucos comandos e até obtém excelentes resultados em bases públicas.

Mas existe um problema.

Grande parte desses profissionais nunca participou de um projeto real de Machine Learning.

Isso significa que aprenderam a construir modelos, mas não aprenderam a resolver problemas de negócio.

Essa diferença parece pequena, mas é justamente ela que separa um profissional capaz de gerar valor de alguém que apenas sabe utilizar algoritmos.

O maior equívoco sobre Machine Learning

Existe uma percepção bastante comum de que Machine Learning é sinônimo de algoritmo.

Na prática, não é.

O algoritmo representa apenas uma pequena parte de toda a solução.

Imagine uma empresa que deseja reduzir perdas por inadimplência.

A necessidade da empresa não é possuir um modelo de Gradient Boosting ou uma Rede Neural.

Ela quer responder perguntas muito mais importantes:

• Quais clientes apresentam maior risco de inadimplência?
• Quanto risco cada cliente representa?
• Como utilizar essa informação para reduzir perdas financeiras?
• Como automatizar essa decisão?
• Qual será o retorno financeiro esperado após a implantação?

Observe que nenhuma dessas perguntas menciona qual algoritmo será utilizado.

O algoritmo é apenas um meio para responder uma necessidade do negócio.

Essa mudança de perspectiva é fundamental.

Empresas não compram modelos de Machine Learning.

Empresas investem em soluções que reduzem custos, aumentam receita, diminuem riscos ou melhoram a experiência dos clientes.

O modelo raramente é a parte mais difícil

Nos cursos, normalmente o foco está em encontrar o algoritmo que apresenta a melhor performance.

No ambiente corporativo, entretanto, essa costuma ser uma das etapas menos complexas.

Os maiores desafios normalmente estão em questões como:

• Compreender profundamente o problema de negócio;
• Identificar quais dados realmente representam o fenômeno estudado;
• Construir variáveis capazes de traduzir o comportamento observado;
• Garantir qualidade e governança dos dados;
• Integrar o modelo aos processos da empresa;
• Monitorar continuamente seu desempenho após a implantação.

Na maioria dos projetos, escolher entre Random Forest, LightGBM ou CatBoost representa uma parcela pequena do esforço total.

Em muitos casos, diferentes algoritmos produzem resultados bastante semelhantes quando os dados são bem preparados.

O verdadeiro diferencial costuma estar na qualidade das informações utilizadas pelo modelo e na forma como ele é incorporado ao processo decisório.

A ilusão criada pelas bases públicas

Grande parte do material disponível para aprendizado utiliza bases já tratadas, organizadas e prontas para modelagem.

Datasets como Titanic, Iris ou House Prices são excelentes para ensinar conceitos estatísticos e funcionamento dos algoritmos.

Entretanto, eles escondem quase todos os problemas encontrados no mundo real.

Em um projeto corporativo dificilmente os dados chegam dessa forma.

É comum encontrar situações como:

• Dados distribuídos em dezenas de sistemas;
• Informações inconsistentes;
• Valores ausentes;
• Cadastros duplicados;
• Diferentes regras de negócio para a mesma informação;
• Mudanças históricas nas definições das variáveis;
• Necessidade de consolidar milhões de registros diariamente.

Antes mesmo de pensar em Machine Learning, boa parte do trabalho consiste em transformar dados dispersos em informação confiável.

Essa etapa normalmente consome muito mais tempo do que o treinamento do modelo em si.

Conhecimento técnico não é suficiente

Dominar algoritmos continua sendo importante.

Mas conhecimento técnico isolado dificilmente gera impacto para uma organização.

Um Cientista de Dados cria valor quando consegue transformar dados em decisões.

Isso exige competências que vão muito além da programação.

É necessário compreender processos de negócio, conversar com especialistas das áreas envolvidas, interpretar indicadores financeiros, entender restrições operacionais e traduzir problemas empresariais em problemas analíticos.

Quanto maior essa capacidade de conexão entre tecnologia e negócio, maior tende a ser o impacto produzido pelos modelos desenvolvidos.

O verdadeiro diferencial está na solução, não no algoritmo

Uma das maiores mudanças de mentalidade para quem deseja atuar profissionalmente é entender que Machine Learning não é o produto final.

O modelo é apenas um componente de uma solução muito maior.

Imagine um sistema de concessão de crédito.

O cliente final nunca verá um algoritmo de classificação funcionando.

O que ele percebe é que sua proposta foi aprovada ou recusada em poucos segundos.

Por trás dessa decisão existe um conjunto muito maior de componentes:

• Coleta de dados;
• Validações cadastrais;
• Consultas externas;
• Engenharia de atributos;
• Modelo preditivo;
• Regras de negócio;
• Políticas de risco;
• Monitoramento contínuo;
• Geração de explicações para auditoria;
• Integração com sistemas corporativos.

O modelo representa apenas uma das engrenagens dessa arquitetura.

É exatamente essa visão sistêmica que diferencia projetos acadêmicos de soluções corporativas.

O verdadeiro papel do Machine Learning dentro da Ciência de Dados

É comum encontrar pessoas que utilizam os termos Ciência de Dados e Machine Learning como se fossem sinônimos.

Embora estejam profundamente relacionados, eles representam conceitos diferentes.

A Ciência de Dados possui um objetivo muito mais amplo: transformar dados em conhecimento que apoie decisões.

O Machine Learning é uma das ferramentas utilizadas para atingir esse objetivo.

Em muitos projetos, inclusive, não existe nenhum algoritmo de Machine Learning.

Ainda assim, eles geram enorme valor para as organizações por meio de análises estatísticas, dashboards, experimentos, inferência causal ou modelos econométricos.

Isso significa que Machine Learning não substitui a Ciência de Dados.

Ele amplia sua capacidade de resolver problemas.

Onde o Machine Learning realmente entra

Dentro de um projeto, o Machine Learning normalmente aparece quando existe algum padrão complexo que seria inviável identificar manualmente.

Alguns exemplos são:

• Prever inadimplência;
• Detectar fraudes;
• Estimar demanda;
• Prever cancelamento de clientes;
• Recomendar produtos;
• Identificar anomalias;
• Classificar documentos;
• Reconhecer imagens;
• Prever preços.

Em todos esses casos, existe uma característica comum.

Há um comportamento que pode ser aprendido a partir dos dados históricos.

O algoritmo observa milhares ou milhões de exemplos anteriores para identificar padrões que possam ser utilizados em novas situações.

Em outras palavras, o Machine Learning transforma experiência histórica em capacidade preditiva.

Machine Learning é um mecanismo de apoio à decisão

Outro equívoco bastante comum é imaginar que o objetivo do Machine Learning seja tomar decisões automaticamente.

Na realidade, sua principal função é produzir informação para apoiar decisões.

Um modelo de crédito, por exemplo, não aprova empréstimos.

Ele estima o risco de inadimplência.

Quem define o limite de aprovação continua sendo a estratégia da empresa, suas políticas de risco e suas restrições regulatórias.

O mesmo ocorre em diversos outros contextos.

Um modelo de churn não impede um cliente de cancelar um serviço.

Ele identifica quais clientes possuem maior probabilidade de cancelar.

A decisão sobre quais ações realizar continua pertencendo ao negócio.

Essa distinção é extremamente importante porque evidencia que modelos preditivos não substituem gestores.

Eles tornam as decisões mais informadas, consistentes e escaláveis.

Como um projeto de Machine Learning realmente acontece nas empresas

Quando observamos cursos ou competições de Machine Learning, normalmente o fluxo parece bastante simples.

Recebe-se um conjunto de dados.

Treina-se alguns modelos.

Comparam-se métricas.

Seleciona-se o melhor algoritmo.

No ambiente corporativo, entretanto, esse fluxo representa apenas uma pequena parte do trabalho.

Projetos reais são construídos muito antes do treinamento do primeiro modelo.

Na prática, um projeto costuma seguir uma sequência semelhante à seguinte:

1. Compreensão do problema de negócio;
2. Definição dos objetivos e indicadores;
3. Levantamento das fontes de dados;
4. Avaliação da qualidade das informações;
5. Engenharia de atributos;
6. Desenvolvimento dos modelos;
7. Validação técnica e validação de negócio;
8. Implantação;
9. Monitoramento contínuo;
10. Evolução da solução;

Observe que a modelagem aparece apenas na metade desse processo.

Isso acontece porque um modelo excelente treinado sobre um problema mal definido dificilmente produzirá resultados úteis.

Por outro lado, modelos relativamente simples costumam gerar enorme impacto quando resolvem exatamente o problema certo.

Em projetos corporativos, o sucesso raramente depende apenas da sofisticação do algoritmo.

Ele depende da capacidade de transformar previsões em decisões operacionais que produzam valor mensurável para a organização.

Entendendo o negócio antes dos dados

Toda iniciativa de Machine Learning começa muito antes da primeira consulta em um banco de dados.

Ela começa com perguntas.

Qual problema queremos resolver?

Por que ele é importante?

Como ele afeta os resultados da empresa?

Quem utilizará essa solução?

Como o sucesso será medido?

Responder essas perguntas é a etapa mais importante de todo o projeto.

Sem esse entendimento, qualquer esforço técnico corre o risco de otimizar algo que não possui relevância para o negócio.

O problema de negócio vem antes do problema analítico

Uma empresa raramente pede um modelo de Machine Learning. Ela pede redução de perdas, aumento de vendas, melhoria operacional ou diminuição de riscos.

Cabe ao Cientista de Dados transformar essas necessidades em problemas analíticos.

Por exemplo:

Problema de negócio

“Estamos perdendo muitos clientes.”

Problema analítico

“Precisamos estimar a probabilidade de cancelamento de cada cliente para permitir ações preventivas de retenção.”

Perceba que o algoritmo ainda nem foi escolhido.

Antes disso, foi necessário traduzir um objetivo empresarial em uma pergunta que pudesse ser respondida utilizando dados.

Essa habilidade costuma ser muito mais valiosa do que conhecer dezenas de algoritmos diferentes.

É ela que garante que todo o esforço técnico esteja direcionado para gerar impacto real na organização.

Entendemos que o algoritmo não é o protagonista. Mas então onde realmente nasce a inteligência de um modelo?

A resposta está nos dados e, principalmente, na forma como eles são transformados em informação útil.

É exatamente isso que veremos na próxima parte.