No segundo artigo, avançamos para os dados e para a Engenharia de Features, mostrando como a qualidade das informações e a construção das variáveis influenciam diretamente a capacidade de um modelo aprender e produzir boas previsões.

Agora, chegamos ao ponto que conecta tudo o que discutimos até aqui: como transformar esse conhecimento em valor real para uma empresa?

Porque existe uma diferença importante entre construir um modelo que funciona e construir uma solução que gera resultado.

Já vi modelos com desempenho estatístico inferior gerarem muito mais resultado financeiro do que modelos considerados “melhores”. Isso acontece porque as empresas não compram AUC. Elas compram redução de perdas, aumento de receita e decisões melhores.

E essa diferença entre performance do modelo e valor para o negócio é justamente o que vamos explorar neste último artigo da série.

Como diferentes modelos trabalham juntos em uma solução real

Ao estudar Machine Learning, é comum imaginar que um único modelo será responsável por resolver todo o problema.

Na prática, isso raramente acontece.

Em ambientes corporativos, soluções de Inteligência Artificial normalmente são compostas por diversos componentes trabalhando em conjunto, cada um desempenhando uma função específica dentro do processo de decisão.

O modelo preditivo é apenas uma dessas peças.

Uma solução é muito maior do que um algoritmo

Imagine uma fintech que concede crédito de forma totalmente digital.

Quando um cliente solicita um empréstimo, a decisão não depende apenas de um modelo de classificação.

Diversas etapas acontecem em poucos segundos.

Primeiro são coletadas informações cadastrais, dados financeiros e consultas a bureaus de crédito.

Em seguida, esses dados passam por processos de validação, tratamento e enriquecimento.

Depois disso, entram em ação diferentes modelos analíticos.

Um modelo pode estimar a probabilidade de inadimplência.

Outro pode detectar indícios de fraude.

Um terceiro calcula a renda estimada do cliente.

Outro estima o valor mais adequado para o limite de crédito.

Além disso, regras de negócio continuam participando da decisão.

Clientes que não atendem critérios regulatórios podem ser recusados independentemente da previsão produzida pelo modelo.

Da mesma forma, clientes estratégicos podem receber tratamentos diferenciados conforme a política comercial da instituição.

Ao final desse processo, todas essas informações são consolidadas para apoiar uma única decisão.

Observe que nenhuma delas, isoladamente, seria suficiente.

O valor surge justamente da integração entre diferentes componentes.

Machine Learning nas empresas faz parte de um ecossistema de dados

Esse mesmo conceito aparece em praticamente todos os setores.

Uma plataforma de streaming pode utilizar:

• Um modelo para recomendar filmes;
• Outro para prever cancelamento de assinaturas;
• Outro para personalizar campanhas de marketing;
• Outro para detectar comportamentos suspeitos;
• Outro para estimar a infraestrutura necessária para suportar o volume de acessos.

Embora cada modelo resolva um problema específico, todos contribuem para um objetivo comum: melhorar a experiência do usuário e aumentar os resultados do negócio.

Essa é uma característica importante dos projetos modernos de Ciência de Dados.

Não desenvolvemos modelos isolados. Construímos soluções integradas.

O erro que quase todos os iniciantes cometem

Existe um comportamento bastante comum entre profissionais que estão iniciando na área.

Eles acreditam que o diferencial de um Cientista de Dados está em conhecer o maior número possível de algoritmos.

Por isso, dedicam meses estudando modelos cada vez mais sofisticados.

Aprendem Gradient Boosting, Deep Learning, Transformers, LLMs, Reinforcement Learning e diversas outras técnicas.

Entretanto, muitas vezes não conseguem responder uma pergunta muito mais simples:

Qual problema de negócio esse algoritmo resolve?

Esse é provavelmente o erro mais frequente no início da carreira.

A obsessão pelo algoritmo

Grande parte dos cursos ensina Ciência de Dados de trás para frente.

Primeiro apresentam dezenas de algoritmos. Depois mostram métricas.

Somente no final falam sobre negócio.

No ambiente corporativo, a ordem é exatamente inversa.

Primeiro compreendemos o problema. Depois entendemos os dados.

Construímos variáveis, validamos hipóteses e somente então escolhemos qual algoritmo faz sentido.

Essa diferença muda completamente a forma de enxergar Machine Learning.

O melhor algoritmo nem sempre produz a melhor solução

Imagine dois modelos:

• O primeiro apresenta uma AUC de 0,94.
• O segundo apresenta uma AUC de 0,89.

Citando apenas uma métrica de exemplo para criar um cenário hipotético, poderia ser outra para usarmos como referência.

À primeira vista, o primeiro parece claramente superior.

Entretanto, imagine que o modelo com maior desempenho depende de informações que levam cinco dias para serem disponibilizadas.

Já o segundo utiliza apenas dados disponíveis em tempo real.

Se a decisão precisa acontecer em poucos segundos, o segundo modelo gera muito mais valor para a empresa.

Esse exemplo mostra que desempenho estatístico e valor para o negócio nem sempre caminham juntos. Não ter os dados certos na hora certa podem impactar e te forçar a ter uma visão diferente.

Projetos bem-sucedidos são aqueles que equilibram qualidade preditiva, simplicidade, custo operacional, interpretabilidade, escalabilidade e impacto financeiro.

Como gerar valor para o negócio com Machine Learning

No fim do dia, nenhuma empresa investe em Inteligência Artificial apenas para possuir modelos sofisticados.

O objetivo é resolver problemas.                                                                   

Isso significa reduzir custos, aumentar receitas, minimizar riscos ou melhorar a experiência dos clientes.

O Machine Learning é apenas um instrumento para atingir esses objetivos.

O valor nasce quando previsões se transformam em decisões

Um modelo que prevê inadimplência não reduz perdas por si só. É necessário que essa informação seja utilizada para apoiar decisões.

Da mesma forma, prever churn não impede clientes de cancelar um serviço. A previsão precisa desencadear ações de retenção.

Um sistema de recomendação só gera resultado quando suas sugestões realmente influenciam o comportamento do consumidor.

Esse talvez seja o conceito mais importante de todo o artigo.

Modelos produzem previsões. Empresas produzem decisões.

Valor é gerado quando essas duas coisas estão conectadas.

O sucesso não termina na implantação

Existe uma percepção equivocada de que o projeto termina quando o modelo entra em produção.

Na realidade, essa costuma ser apenas a metade da jornada.

Os dados mudam, o comportamento dos clientes muda, as condições econômicas mudam. As estratégias da empresa mudam.

Como consequência, o desempenho dos modelos também muda.

Por isso, soluções de Machine Learning precisam ser continuamente monitoradas.

Entre as atividades mais importantes estão:

• Acompanhamento das métricas de desempenho;
• Monitoramento de data drift e concept drift;
• Avaliação da estabilidade das variáveis;
• Retreinamento periódico dos modelos;
• Validação contínua do impacto financeiro.

Um modelo excelente hoje pode deixar de ser útil daqui a alguns meses se não houver um processo adequado de monitoramento.

É justamente essa preocupação com o ciclo de vida completo que caracteriza projetos maduros de Machine Learning.

Competências que diferenciam um Cientista de Dados de um profissional que apenas sabe usar algoritmos

Ao longo deste artigo vimos que Machine Learning vai muito além do treinamento de modelos.

Consequentemente, as competências exigidas pelo mercado também vão muito além da programação.

Os profissionais mais valorizados costumam reunir conhecimentos de diferentes áreas.

Visão de negócio

Antes de construir modelos, é necessário compreender quais problemas realmente merecem ser resolvidos.

Entender indicadores financeiros, processos operacionais e objetivos estratégicos permite direcionar esforços para iniciativas com maior potencial de impacto.

Domínio dos dados

Dados raramente chegam prontos. É necessário saber coletá-los, tratá-los, integrá-los e avaliar sua qualidade.

Boa parte do sucesso de um projeto depende dessa etapa.

Engenharia de Features

Criar boas variáveis continua sendo uma das competências mais importantes da profissão.

É nesse momento que conhecimento estatístico e conhecimento do negócio se encontram para transformar dados brutos em sinais relevantes para o modelo.

Estatística e Machine Learning

Conhecer algoritmos continua sendo importante. Mas conhecer apenas algoritmos não é suficiente.

É necessário compreender seus pressupostos, limitações, formas de avaliação e situações em que cada abordagem faz mais sentido.

Comunicação

Talvez esta seja uma das habilidades mais subestimadas da profissão.

Um excelente modelo possui pouco valor se ninguém compreender seus resultados.

Traduzir conceitos técnicos para uma linguagem acessível é essencial para que gestores confiem nas análises e incorporem os modelos ao processo de decisão.

Aprendizado contínuo

A Inteligência Artificial evolui em velocidade impressionante. Novos algoritmos, arquiteturas, ferramentas e técnicas surgem constantemente.

Mais importante do que conhecer todas elas é desenvolver a capacidade de aprender continuamente e adaptar soluções às necessidades reais das organizações.

Machine Learning é sobre resolver problemas, não apenas construir modelos

Quando começamos a estudar Machine Learning, é natural acreditar que os algoritmos representam o centro de toda a Ciência de Dados.

Com o tempo, percebemos que eles são apenas uma etapa de um processo muito maior.

Tudo começa pela compreensão do problema de negócio.

Depois vêm os dados, sua qualidade e a construção de variáveis capazes de representar o comportamento que desejamos entender.

Somente então os algoritmos entram em cena para identificar padrões e produzir previsões.

Mas nem mesmo esse é o ponto final.

As previsões precisam ser incorporadas aos processos da empresa, monitoradas continuamente e transformadas em decisões que gerem impacto real.

É justamente essa visão sistêmica que diferencia projetos acadêmicos de soluções corporativas.

No fim, empresas não contratam Cientistas de Dados para construir modelos.

Contratam profissionais capazes de utilizar dados para resolver problemas complexos, reduzir incertezas e apoiar decisões estratégicas.

Os algoritmos continuarão evoluindo!

Novas arquiteturas surgirão, ferramentas serão substituídas e tecnologias deixarão de existir. O que permanecerá relevante é a capacidade de compreender problemas, transformar dados em conhecimento e converter esse conhecimento em valor para o negócio.

Esse continua sendo e provavelmente continuará sendo por muitos anos o verdadeiro papel de um Cientista de Dados.

Dados: a matéria-prima da Inteligência Artificial

Até aqui vimos na primeira parte do artigo que um projeto de Machine Learning começa muito antes da escolha de um algoritmo. Primeiro entendemos o problema de negócio, definimos os objetivos e traduzimos essa necessidade em um problema analítico.

A próxima etapa consiste em responder uma pergunta fundamental:

Existe informação suficiente para resolver esse problema?

Essa pergunta parece simples, mas ela determina o sucesso ou o fracasso de praticamente qualquer iniciativa de Inteligência Artificial.

Nenhum algoritmo cria conhecimento do zero

Existe uma ideia bastante difundida de que algoritmos de Inteligência Artificial são capazes de descobrir qualquer padrão sozinhos.

Na prática, isso não acontece.

Os algoritmos não possuem conhecimento próprio, intuição ou experiência. Eles apenas identificam relações existentes nos dados utilizados durante o treinamento.

Em outras palavras, a qualidade das previsões nunca será superior à qualidade das informações disponíveis.

Imagine que uma instituição financeira deseja prever quais clientes irão atrasar o pagamento das próximas parcelas.

Se o histórico disponível contém informações como renda, idade, histórico de pagamentos, utilização do limite, quantidade de contratos anteriores e comportamento financeiro, existe uma boa chance de o modelo encontrar padrões úteis.

Agora imagine que todas essas informações estejam ausentes.

Nesse cenário, mesmo utilizando os algoritmos mais sofisticados do mercado, dificilmente será possível construir um modelo confiável.

O problema não está no algoritmo.

O problema está na ausência de informação.

Dados são a matéria-prima do Machine Learning

Uma analogia bastante útil é pensar em uma indústria.

Nenhuma fábrica consegue produzir um produto de qualidade utilizando matéria-prima inadequada. O mesmo acontece na Ciência de Dados.

Os dados representam a matéria-prima utilizada para construir conhecimento.

Quanto mais representativos, completos, consistentes e relevantes forem esses dados, maior será a capacidade do modelo de aprender padrões úteis.

Essa relação costuma ser resumida pela expressão conhecida na área:

Garbage In, Garbage Out (GIGO).

Ou seja, se informações incorretas entram no modelo, previsões incorretas serão produzidas.

Embora seja um conceito simples, ele continua sendo um dos maiores responsáveis pelo fracasso de projetos de Inteligência Artificial.

Dados não são apenas números

Quando pensamos em dados, muitas pessoas imaginam apenas tabelas compostas por linhas e colunas.

Na realidade, praticamente qualquer informação pode ser utilizada como fonte de aprendizado.

Entre elas:

• Dados cadastrais;
• Histórico de transações;
• Comportamento de navegação;
• Localização geográfica;
• Imagens;
• Documentos;
• Áudios;
• Vídeos;
• Séries temporais;
• Sensores industriais;
• Registros médicos;
• Textos produzidos pelos clientes.

Independentemente do formato, o objetivo continua sendo o mesmo: representar algum aspecto da realidade que ajude o algoritmo a compreender o fenômeno estudado.

Mais dados nem sempre significam melhores modelos

Outro equívoco bastante comum é acreditar que aumentar a quantidade de dados sempre melhora o desempenho de um modelo.

Na prática, volume e qualidade são conceitos diferentes.

Uma base com milhões de registros inconsistentes pode produzir resultados inferiores a uma base menor, porém cuidadosamente construída.

Além disso, muitas variáveis carregam pouca ou nenhuma informação relevante para o problema.

Em alguns casos, elas apenas introduzem ruído, dificultando o aprendizado do algoritmo e aumentando o risco de overfitting.

Por esse motivo, o trabalho do Cientista de Dados não consiste apenas em coletar grandes volumes de informação.

Seu papel é identificar quais dados realmente ajudam a explicar o comportamento que deseja prever.

O desafio dos dados no mundo corporativo

Nos exemplos acadêmicos, normalmente os dados já estão organizados e prontos para utilização.

Nas empresas, a realidade costuma ser bastante diferente.

É comum encontrar situações como:

• Informações distribuídas entre diversos sistemas;
• Diferentes definições para a mesma variável;
• Registros duplicados;
• Dados ausentes;
• Inconsistências cadastrais;
• Mudanças históricas nas regras de negócio;
• Diferentes granularidades temporais;
• Problemas de atualização e sincronização.

Grande parte do esforço de um projeto de Ciência de Dados consiste justamente em transformar essas informações dispersas em uma base analítica confiável.

Somente após essa etapa os algoritmos começam a fazer sentido.

Engenharia de Features: onde nasce a inteligência do modelo

Existe uma frase bastante conhecida na comunidade de Ciência de Dados:

Os modelos aprendem a partir das features, não dos dados brutos.

Embora pareça um detalhe técnico, essa afirmação explica por que projetos aparentemente semelhantes podem produzir resultados completamente diferentes.

A qualidade das variáveis utilizadas costuma exercer muito mais influência no desempenho do modelo do que a escolha do algoritmo.

O que são features?

Uma feature é qualquer informação utilizada pelo algoritmo para realizar uma previsão.

Algumas delas já existem na base original.

Por exemplo:

• Idade;
• Renda;
• Tempo de relacionamento;
• Quantidade de compras;
• Saldo da conta.

Entretanto, as features mais valiosas raramente estão prontas.

Elas normalmente precisam ser construídas a partir da combinação de diversas informações existentes.

É justamente esse processo que recebe o nome de Engenharia de Features.

Transformando dados em conhecimento

Imagine um modelo de crédito.

A variável “renda” possui informação importante. Mas ela talvez não explique completamente a capacidade financeira do cliente.

Agora imagine criar uma nova variável chamada:

Comprometimento da renda = Valor das parcelas / Renda mensal

Essa nova feature provavelmente representa muito melhor a capacidade de pagamento do cliente do que cada variável isoladamente.

O algoritmo não criou esse conhecimento.

Foi o Cientista de Dados quem traduziu conhecimento de negócio em informação estatística.

É exatamente por isso que Engenharia de Features costuma ser considerada uma das atividades mais importantes de toda a Ciência de Dados.

Feature Engineering é conhecimento de negócio transformado em dados

Esse talvez seja o ponto mais importante de todo o processo.

Construir features não significa apenas realizar operações matemáticas. Significa transformar conhecimento do domínio em variáveis capazes de representar comportamentos reais.

• No varejo, podemos criar indicadores de frequência de compra.
• Na área financeira, indicadores de utilização do limite de crédito.
• Na indústria, indicadores de eficiência operacional.
• No marketing, indicadores de engajamento.

Cada setor possui sinais diferentes que ajudam a explicar seus respectivos problemas.

Quanto melhor esses sinais forem representados, maior tende a ser a capacidade preditiva do modelo.

A inteligência normalmente nasce antes do algoritmo

É comum atribuir todo o mérito de um modelo ao algoritmo utilizado. Na realidade, boa parte da inteligência está presente nas features.

Considere dois Cientistas de Dados utilizando exatamente o mesmo algoritmo.

O primeiro utiliza apenas variáveis originais. O segundo dedica semanas para construir centenas de indicadores comportamentais, temporais, estatísticos e de negócio.

Muito provavelmente, o segundo modelo apresentará desempenho superior.

Não porque o algoritmo seja diferente. Mas porque recebeu informações muito mais ricas para aprender.

Feature Engineering também reduz complexidade

Além de aumentar a capacidade preditiva, boas features ajudam a simplificar problemas complexos.

Ao sintetizar grandes volumes de informação em poucos indicadores representativos, reduzimos ruído, melhoramos interpretabilidade e facilitamos a generalização do modelo.

Esse processo também contribui para tornar modelos mais estáveis ao longo do tempo, reduzindo impactos provocados por mudanças naturais no comportamento dos dados.

O que realmente é Machine Learning

Depois de compreender a importância do negócio, dos dados e da Engenharia de Features, finalmente chegamos ao Machine Learning.

Curiosamente, esta costuma ser a primeira etapa ensinada na maioria dos cursos.

Na prática, ela é apenas uma consequência de tudo o que foi construído anteriormente.

Machine Learning pode ser entendido como um conjunto de técnicas capazes de identificar padrões existentes nos dados e utilizá-los para realizar previsões ou apoiar decisões futuras.

Observe que a palavra mais importante dessa definição é aprender.

Diferentemente de sistemas tradicionais, que seguem regras previamente programadas, modelos de Machine Learning constroem essas regras automaticamente a partir de exemplos históricos.

Em vez de dizer explicitamente como resolver um problema, fornecemos exemplos de situações passadas para que o algoritmo descubra, por conta própria, quais padrões são úteis.

Por exemplo, em um modelo de detecção de fraude, não é necessário escrever manualmente todas as combinações possíveis de comportamento fraudulento. O algoritmo analisa milhares ou milhões de transações históricas e aprende quais características costumam estar associadas a operações legítimas e quais indicam maior probabilidade de fraude.

Em essência, Machine Learning transforma dados históricos em modelos capazes de generalizar esse conhecimento para novas situações. O aprendizado ocorre porque o algoritmo ajusta seus parâmetros até encontrar relações que expliquem o comportamento observado e que possam ser aplicadas a dados nunca vistos anteriormente.

É justamente essa capacidade de aprender com a experiência que diferencia o Machine Learning dos sistemas baseados exclusivamente em regras fixas.

Aprendizado Supervisionado

O Aprendizado Supervisionado é a categoria mais utilizada em aplicações corporativas.

Nesse tipo de abordagem, o algoritmo aprende a partir de exemplos históricos que já possuem a resposta correta.

Durante o treinamento, fornecemos tanto as variáveis explicativas quanto o resultado esperado. O objetivo é identificar padrões que permitam prever esse mesmo resultado para novos casos.

Na prática, é semelhante ao processo de aprendizagem humana: primeiro observamos exemplos resolvidos e, depois, aplicamos esse conhecimento em situações inéditas.

Os problemas supervisionados podem ser divididos em duas grandes categorias.

Classificação

Na classificação, o objetivo é prever categorias ou classes previamente definidas.

Alguns exemplos incluem:

• Aprovar ou negar um crédito;
• Detectar uma fraude;
• Identificar se um e-mail é spam;
• Prever o cancelamento de um cliente;
• Classificar um exame como normal ou alterado.

O resultado esperado pertence a um conjunto finito de possibilidades, como “sim” ou “não”, ou múltiplas categorias.

Grande parte dos modelos utilizados por bancos, seguradoras, fintechs e empresas de varejo pertence a essa categoria.

Regressão

Na regressão, o objetivo é estimar um valor numérico contínuo.

Entre os exemplos mais comuns estão:

• Previsão de preços de imóveis;
• Estimativa de demanda;
• Previsão de vendas;
• Consumo de energia;
• Previsão de receitas;
• Estimativa de tempo de entrega.

Em vez de responder “qual classe?”, buscamos responder “quanto?”.

Apesar da diferença, ambos utilizam o mesmo princípio: aprender padrões existentes nos dados históricos.

Casos reais de negócio

Independentemente do algoritmo escolhido, modelos supervisionados costumam estar presentes em praticamente todos os setores da economia.

• No setor financeiro, são utilizados para prever inadimplência, estimar risco de crédito e identificar transações suspeitas.
• No varejo, ajudam a prever demanda, personalizar ofertas e antecipar cancelamentos.
• Na indústria, estimam falhas em equipamentos antes que ocorram.
• Na saúde, auxiliam médicos na identificação precoce de doenças.

Em todos esses cenários, o algoritmo não substitui a decisão humana, mas oferece uma estimativa baseada em padrões históricos, tornando o processo mais rápido, consistente e escalável.

Aprendizado Não Supervisionado

Nem todo problema possui uma resposta conhecida. Em muitas situações, o objetivo não é prever um resultado, mas descobrir padrões ocultos existentes nos próprios dados.

É exatamente esse o papel do Aprendizado Não Supervisionado.

Nesse tipo de abordagem, o algoritmo recebe apenas os dados de entrada, sem qualquer indicação sobre qual seria a resposta correta.

Seu desafio é encontrar estruturas, agrupamentos ou relações naturalmente presentes nas informações.

Clustering

O clustering busca identificar grupos de elementos semelhantes entre si.

Clientes com comportamentos parecidos tendem a ser agrupados automaticamente, mesmo que nunca tenham sido classificados previamente.

Essa técnica é amplamente utilizada para explorar dados e compreender diferentes perfis existentes dentro de uma população.

Segmentação de clientes

Uma das aplicações mais conhecidas do clustering é a segmentação de clientes.

Em vez de tratar todos os consumidores da mesma forma, a empresa pode identificar grupos com características semelhantes, como:

• Clientes de alto valor;
• Consumidores ocasionais;
• Usuários em risco de cancelamento;
• Compradores altamente recorrentes.

Esses grupos permitem estratégias comerciais muito mais direcionadas.

Sistemas de recomendação

Outra aplicação importante consiste na recomendação de produtos, conteúdos ou serviços.

Plataformas de streaming, marketplaces e e-commerces utilizam padrões de comportamento para identificar usuários semelhantes e sugerir itens potencialmente relevantes.

Embora existam diversas abordagens para recomendação, muitas delas exploram conceitos relacionados à similaridade entre usuários ou entre produtos.

Redução de dimensionalidade

À medida que o número de variáveis cresce, torna-se mais difícil compreender os dados e construir modelos eficientes.

Técnicas de redução de dimensionalidade procuram representar um grande conjunto de informações utilizando menos dimensões, preservando a maior parte da informação relevante.

Além de facilitar visualizações e análises exploratórias, essas técnicas podem reduzir ruído, acelerar algoritmos e simplificar modelos mais complexos.

Aprendizado por Reforço

Enquanto o Aprendizado Supervisionado aprende a partir de exemplos e o Não Supervisionado busca padrões ocultos, o Aprendizado por Reforço segue uma lógica diferente.

Nessa abordagem, um agente aprende por tentativa e erro, interagindo continuamente com um ambiente.

Cada ação realizada produz uma consequência, representada por uma recompensa ou penalização.

Ao longo do tempo, o objetivo é descobrir quais decisões maximizam a recompensa acumulada.

Esse paradigma tornou-se conhecido por aplicações como robótica, veículos autônomos e jogos estratégicos, nos quais agentes são capazes de desenvolver estratégias extremamente sofisticadas após milhões de interações.

Embora seja uma área de intensa pesquisa e apresente resultados impressionantes em problemas específicos, seu uso ainda é menos frequente em projetos corporativos tradicionais quando comparado ao Aprendizado Supervisionado.

Ainda assim, o conceito reforça uma característica comum a todas as abordagens de Machine Learning: aprender continuamente a partir da experiência para tomar decisões cada vez melhores.

Até aqui vimos como os modelos aprendem. Mas uma empresa raramente utiliza apenas um modelo isolado. Na prática, soluções de Machine Learning funcionam como um ecossistema integrado. É isso que veremos na última parte da série.

Qual seria o primeiro passo? Escolher entre XGBoost, LightGBM ou Redes Neurais? A resposta é não. E esse é justamente um dos maiores equívocos de quem está começando na área.

Quando alguém decide estudar Machine Learning, normalmente o caminho parece bastante claro.

Começa aprendendo Python, depois Pandas, NumPy, Scikit-Learn, alguns algoritmos como Regressão Linear, Árvores de Decisão, Random Forest, XGBoost, Redes Neurais e, por fim, aprende a medir métricas como Accuracy, Precision, Recall e AUC.

Após alguns cursos, consegue construir modelos com poucos comandos e até obtém excelentes resultados em bases públicas.

Mas existe um problema.

Grande parte desses profissionais nunca participou de um projeto real de Machine Learning.

Isso significa que aprenderam a construir modelos, mas não aprenderam a resolver problemas de negócio.

Essa diferença parece pequena, mas é justamente ela que separa um profissional capaz de gerar valor de alguém que apenas sabe utilizar algoritmos.

O maior equívoco sobre Machine Learning

Existe uma percepção bastante comum de que Machine Learning é sinônimo de algoritmo.

Na prática, não é.

O algoritmo representa apenas uma pequena parte de toda a solução.

Imagine uma empresa que deseja reduzir perdas por inadimplência.

A necessidade da empresa não é possuir um modelo de Gradient Boosting ou uma Rede Neural.

Ela quer responder perguntas muito mais importantes:

• Quais clientes apresentam maior risco de inadimplência?
• Quanto risco cada cliente representa?
• Como utilizar essa informação para reduzir perdas financeiras?
• Como automatizar essa decisão?
• Qual será o retorno financeiro esperado após a implantação?

Observe que nenhuma dessas perguntas menciona qual algoritmo será utilizado.

O algoritmo é apenas um meio para responder uma necessidade do negócio.

Essa mudança de perspectiva é fundamental.

Empresas não compram modelos de Machine Learning.

Empresas investem em soluções que reduzem custos, aumentam receita, diminuem riscos ou melhoram a experiência dos clientes.

O modelo raramente é a parte mais difícil

Nos cursos, normalmente o foco está em encontrar o algoritmo que apresenta a melhor performance.

No ambiente corporativo, entretanto, essa costuma ser uma das etapas menos complexas.

Os maiores desafios normalmente estão em questões como:

• Compreender profundamente o problema de negócio;
• Identificar quais dados realmente representam o fenômeno estudado;
• Construir variáveis capazes de traduzir o comportamento observado;
• Garantir qualidade e governança dos dados;
• Integrar o modelo aos processos da empresa;
• Monitorar continuamente seu desempenho após a implantação.

Na maioria dos projetos, escolher entre Random Forest, LightGBM ou CatBoost representa uma parcela pequena do esforço total.

Em muitos casos, diferentes algoritmos produzem resultados bastante semelhantes quando os dados são bem preparados.

O verdadeiro diferencial costuma estar na qualidade das informações utilizadas pelo modelo e na forma como ele é incorporado ao processo decisório.

A ilusão criada pelas bases públicas

Grande parte do material disponível para aprendizado utiliza bases já tratadas, organizadas e prontas para modelagem.

Datasets como Titanic, Iris ou House Prices são excelentes para ensinar conceitos estatísticos e funcionamento dos algoritmos.

Entretanto, eles escondem quase todos os problemas encontrados no mundo real.

Em um projeto corporativo dificilmente os dados chegam dessa forma.

É comum encontrar situações como:

• Dados distribuídos em dezenas de sistemas;
• Informações inconsistentes;
• Valores ausentes;
• Cadastros duplicados;
• Diferentes regras de negócio para a mesma informação;
• Mudanças históricas nas definições das variáveis;
• Necessidade de consolidar milhões de registros diariamente.

Antes mesmo de pensar em Machine Learning, boa parte do trabalho consiste em transformar dados dispersos em informação confiável.

Essa etapa normalmente consome muito mais tempo do que o treinamento do modelo em si.

Conhecimento técnico não é suficiente

Dominar algoritmos continua sendo importante.

Mas conhecimento técnico isolado dificilmente gera impacto para uma organização.

Um Cientista de Dados cria valor quando consegue transformar dados em decisões.

Isso exige competências que vão muito além da programação.

É necessário compreender processos de negócio, conversar com especialistas das áreas envolvidas, interpretar indicadores financeiros, entender restrições operacionais e traduzir problemas empresariais em problemas analíticos.

Quanto maior essa capacidade de conexão entre tecnologia e negócio, maior tende a ser o impacto produzido pelos modelos desenvolvidos.

O verdadeiro diferencial está na solução, não no algoritmo

Uma das maiores mudanças de mentalidade para quem deseja atuar profissionalmente é entender que Machine Learning não é o produto final.

O modelo é apenas um componente de uma solução muito maior.

Imagine um sistema de concessão de crédito.

O cliente final nunca verá um algoritmo de classificação funcionando.

O que ele percebe é que sua proposta foi aprovada ou recusada em poucos segundos.

Por trás dessa decisão existe um conjunto muito maior de componentes:

• Coleta de dados;
• Validações cadastrais;
• Consultas externas;
• Engenharia de atributos;
• Modelo preditivo;
• Regras de negócio;
• Políticas de risco;
• Monitoramento contínuo;
• Geração de explicações para auditoria;
• Integração com sistemas corporativos.

O modelo representa apenas uma das engrenagens dessa arquitetura.

É exatamente essa visão sistêmica que diferencia projetos acadêmicos de soluções corporativas.

O verdadeiro papel do Machine Learning dentro da Ciência de Dados

É comum encontrar pessoas que utilizam os termos Ciência de Dados e Machine Learning como se fossem sinônimos.

Embora estejam profundamente relacionados, eles representam conceitos diferentes.

A Ciência de Dados possui um objetivo muito mais amplo: transformar dados em conhecimento que apoie decisões.

O Machine Learning é uma das ferramentas utilizadas para atingir esse objetivo.

Em muitos projetos, inclusive, não existe nenhum algoritmo de Machine Learning.

Ainda assim, eles geram enorme valor para as organizações por meio de análises estatísticas, dashboards, experimentos, inferência causal ou modelos econométricos.

Isso significa que Machine Learning não substitui a Ciência de Dados.

Ele amplia sua capacidade de resolver problemas.

Onde o Machine Learning realmente entra

Dentro de um projeto, o Machine Learning normalmente aparece quando existe algum padrão complexo que seria inviável identificar manualmente.

Alguns exemplos são:

• Prever inadimplência;
• Detectar fraudes;
• Estimar demanda;
• Prever cancelamento de clientes;
• Recomendar produtos;
• Identificar anomalias;
• Classificar documentos;
• Reconhecer imagens;
• Prever preços.

Em todos esses casos, existe uma característica comum.

Há um comportamento que pode ser aprendido a partir dos dados históricos.

O algoritmo observa milhares ou milhões de exemplos anteriores para identificar padrões que possam ser utilizados em novas situações.

Em outras palavras, o Machine Learning transforma experiência histórica em capacidade preditiva.

Machine Learning é um mecanismo de apoio à decisão

Outro equívoco bastante comum é imaginar que o objetivo do Machine Learning seja tomar decisões automaticamente.

Na realidade, sua principal função é produzir informação para apoiar decisões.

Um modelo de crédito, por exemplo, não aprova empréstimos.

Ele estima o risco de inadimplência.

Quem define o limite de aprovação continua sendo a estratégia da empresa, suas políticas de risco e suas restrições regulatórias.

O mesmo ocorre em diversos outros contextos.

Um modelo de churn não impede um cliente de cancelar um serviço.

Ele identifica quais clientes possuem maior probabilidade de cancelar.

A decisão sobre quais ações realizar continua pertencendo ao negócio.

Essa distinção é extremamente importante porque evidencia que modelos preditivos não substituem gestores.

Eles tornam as decisões mais informadas, consistentes e escaláveis.

Como um projeto de Machine Learning realmente acontece nas empresas

Quando observamos cursos ou competições de Machine Learning, normalmente o fluxo parece bastante simples.

Recebe-se um conjunto de dados.

Treina-se alguns modelos.

Comparam-se métricas.

Seleciona-se o melhor algoritmo.

No ambiente corporativo, entretanto, esse fluxo representa apenas uma pequena parte do trabalho.

Projetos reais são construídos muito antes do treinamento do primeiro modelo.

Na prática, um projeto costuma seguir uma sequência semelhante à seguinte:

1. Compreensão do problema de negócio;
2. Definição dos objetivos e indicadores;
3. Levantamento das fontes de dados;
4. Avaliação da qualidade das informações;
5. Engenharia de atributos;
6. Desenvolvimento dos modelos;
7. Validação técnica e validação de negócio;
8. Implantação;
9. Monitoramento contínuo;
10. Evolução da solução;

Observe que a modelagem aparece apenas na metade desse processo.

Isso acontece porque um modelo excelente treinado sobre um problema mal definido dificilmente produzirá resultados úteis.

Por outro lado, modelos relativamente simples costumam gerar enorme impacto quando resolvem exatamente o problema certo.

Em projetos corporativos, o sucesso raramente depende apenas da sofisticação do algoritmo.

Ele depende da capacidade de transformar previsões em decisões operacionais que produzam valor mensurável para a organização.

Entendendo o negócio antes dos dados

Toda iniciativa de Machine Learning começa muito antes da primeira consulta em um banco de dados.

Ela começa com perguntas.

Qual problema queremos resolver?

Por que ele é importante?

Como ele afeta os resultados da empresa?

Quem utilizará essa solução?

Como o sucesso será medido?

Responder essas perguntas é a etapa mais importante de todo o projeto.

Sem esse entendimento, qualquer esforço técnico corre o risco de otimizar algo que não possui relevância para o negócio.

O problema de negócio vem antes do problema analítico

Uma empresa raramente pede um modelo de Machine Learning. Ela pede redução de perdas, aumento de vendas, melhoria operacional ou diminuição de riscos.

Cabe ao Cientista de Dados transformar essas necessidades em problemas analíticos.

Por exemplo:

Problema de negócio

“Estamos perdendo muitos clientes.”

Problema analítico

“Precisamos estimar a probabilidade de cancelamento de cada cliente para permitir ações preventivas de retenção.”

Perceba que o algoritmo ainda nem foi escolhido.

Antes disso, foi necessário traduzir um objetivo empresarial em uma pergunta que pudesse ser respondida utilizando dados.

Essa habilidade costuma ser muito mais valiosa do que conhecer dezenas de algoritmos diferentes.

É ela que garante que todo o esforço técnico esteja direcionado para gerar impacto real na organização.

Entendemos que o algoritmo não é o protagonista. Mas então onde realmente nasce a inteligência de um modelo?

A resposta está nos dados e, principalmente, na forma como eles são transformados em informação útil.

É exatamente isso que veremos na próxima parte.

Dessa forma esses dados estão representando atributos qualitativos em vez de valores numéricos. E se quisermos utiliza-los para análise e futuramente em machine learning por exemplo, para que possamos utilizar com o algoritmo eles precisam ser valores numéricos, afinal a máquina entende números.

Já sabemos que muitos algoritmos de aprendizado de máquina precisam de números para trabalhar, e é ai que entra o processo de Label Enconding.

Durante a análise e tratamento dos dados, atribuir valores numéricos para os dados categóricos nos permite utilizar em vários algoritmos. Aqui veremos o que é Label Encoding, onde podemos aplicar e como fazer isso com exemplos.

O que é Label Encoding?

Label Encoding é o processo onde você mapeia cada categoria e atribui valores numéricos para dados categóricos.

Essa é uma forma de converter os dados categóricos para numéricos para que possa ser utilizado nas análises e modelagem futuras.

Com o Label Encoding você atribui um número inteiro único para cada valor da variável categórica.

Veja um exemplo:

Imagine que temos uma variável categórica “regiões” com categorias como Norte, Nordeste, Centro-Oeste, Sudeste e Sul.

Dessa maneira podemos atribuir valores números como 0, 1, 2, 3, 4 para cada uma das categorias.

Isso nos permitirá representarmos os dados de forma numérica, que justamente é utilizado por algoritmos de machine learning.

Veja alguns exemplos de como podemos atribuir valores numéricos para variáveis categóricas.

Exemplo de Label Enconding em Python

Exemplo 1: Segmentação de Candidatos

Nesse exemplo temos um conjunto de dados com pessoas que se candidataram a vagas de emprego e ele traz características como Formação, Faixa de Idade e Estado Civil.

A partir desses dados você pode aplicar o Label Encoding e atribuir valores numéricos para as variáveis categóricas. Com isso poderá representar os dados em formato de número adequado para utilização na análise de segmentação de candidatos.

Exemplo 2: Categorias de Produtos

Isso pode ser facilmente aplicado em dados de e-commerce ou qualquer produto ou serviço que esteja organizado por categorias ou departamentos.

O conjunto de dados contendo Nome do Produto e Categoria, você pode utilizar o Label Encoding e atribuir valores numéricos para elas.

A partir disso você terá valores numéricos nas variáveis categóricas permitindo fazer a análise como na imagem acima.

Por que usar o Label Encoding?

Lembre-se na hora de utilizar os algoritmos em machine learning por exemplo, a máquina não entende palavras, sentimentos e textos, ela trabalha melhor com números.

Utilizar essa técnica ajudará você a tratar os dados para que possa utilizar em suas análises. Um bom exemplo é quando tratamos de análise de sentimentos, como explicar para a máquina que os dados passados representam informações como Feliz, Triste, Decepcionado, Cansado, Agitado?

Através do Label Encoding você transforma isso para que ela possa entender.

Utilizar o Label Enconding vai facilitar a utilização dos dados e permitir fazer muitas outras análises e aplicar algoritmos de machine learning.

Onde podemos utilizar Label Encoding?

Posso dizer que existem vários cenários possíveis para utilizar a técnica de Label Encoding para trabalhar com os dados categóricos.

– Visualização de Dados

Você pode utilizar o Label Encoding pensando na visualização de dados, já que ao atribuir valores numéricos poderá trabalhar a representação desses dados em gráficos. Talvez essa utilização seja a mais comum de todas.

Essa transformação de categórico para numérico pode gerar insights bem significativos para sua análise sobre os dados.

– Sistemas de recomendação

Quando falamos de sistemas de recomendação geralmente utilizamos variáveis categóricas para as preferências do usuário.

Ao transformar e trabalhar essas variáveis, podemos utilizar junto com os algoritmos de recomendação para processarem os dados e fazer recomendações personalizadas com base nas preferências do usuário.

– Processamento de Linguagem Natural (NLP  – Natural Language Processing)

O Label Encoding tem um papel muito importante aqui, já que pode converter as categorias como positivo, negativo, neutro em representações numéricas para serem utilizadas em aplicações NLP, um exemplo bem comum seria a análise de sentimentos.

Isso permite que os algoritmos de machine learning compreendam e analisem os dados para gerarem um melhor resultado.

– Análise de Clustering

Podemos utilizar o Label Encoding na análise de agrupamento, onde precisamos transformar variáveis categóricas em numéricas para que o algoritmo de agrupamento possa identificar padrões dentro do grupo de dados.

Preparando os Dados para Label Encoding com Python

Assim como em qualquer análise e tratamento de dados antes de aplicarmos o Label Encoding é necessário preparar os dados.

A seguir veremos algumas etapas rotineiras na preparação de dados para trabalhar com Label Encoding.

Valores ausentes

Na maioria dos dados, encontrar valores ausentes é muito comum, principalmente em grandes volumes.

Para aplicarmos o label encoding com Python é necessário resolver a questão com esses valores ausentes antes de continuar.

E para tomar a decisão de remover ou não, existe um grande “depende”, cabe a você analisar e decidir se a ação pede que seja removido linhas ou colunas com esses valores ausentes caso eles não sejam importantes para sua analise.

Uma outra alternativa é atribuir aos valores ausentes usando técnicas como moda, mediana ou média ou até mesmo imputação utilizando outras técnicas, tudo vai depender do seu objetivo, por isso analise bem.

Variáveis ordinais

Aqui requer muita atenção também, pois caso seus dados contenham variáveis ordinais, é muito importante tratar de forma que preserve essa ordem para não atrapalhar na hora da analise.

Uma opção aqui é definir uma ordem predeterminada como guia para evitar perdas.

Algumas situações que podemos ver isso é na escolaridade (ensino fundamental, ensino médio, graduação, pós-graduação, etc.) ou outro exemplo seria nível profissional (Estagiário, Junior, Pleno e Sênior).

Nessas situações poderia definir para os rótulos valores como 0, 1, 2 , 3 … e para complementar pode ser criado um dicionário para mapear e especificar a ordem dos valores numéricos de acordo com cada item para preservar o entendimento.

Variáveis Nominais

Já caso se depare com variáveis nominais, você pode ainda utilizar o one-hot encoding, como uma alternativa ao label encoding, novamente reforço, tudo dependerá do seu objetivo e analise.

Em algumas situações você poderá aplicar ambas as técnicas e fazendo analise separada para comparar os resultados.

No caso do one-hot criamos colunas para cada categoria e utilizamos dados binários (0 ou 1), onde ele dirá se a categoria esta ou não presente.

Essa técnica pede atenção caso você tenha muitas categorias por exemplo. Pois pode aumentar significativamente o número de colunas.

Pré-processamento de dados

Assim como em qualquer análise, verifique os dados, veja como estão e faça a analise exploratória, veja o que é necessário ou não.

Realizar as etapas de limpeza de dados e tratamento pode facilitar o processo de Label Enconding é fundamental.

A normalização ou remoção de valores pode adiantar o seu serviço em relação ao que precisa ser feito. A execução de toda checagem e analise, pode facilitar seu trabalho já que pode poupar muito tempo evitando ações desnecessárias.

A limpeza e tratamento dos dados pode gerar ganho de desempenho tanto para análise quanto para parte de machine learning, e garantirá que os dados estejam no formato mais adequado.

Fazendo o Label Encoding com Python

Para fazer o Label Encoding em Python usaremos o sci-kit-learn, é uma biblioteca gratuita, de código aberto, para Machine Learning (Aprendizado de Máquina).

Abaixo tem o passo a passo de como fazer Label Encoding, eu utilizei o Jupyter Lab e vou disponibilizar o arquivo para download no GitHub no final do artigo para acesso.

Exemplo 1:

Importando as bibliotecas necessárias:

# Importando as bibliotecas necessárias
from sklearn.preprocessing import LabelEncoder
import pandas as pd

Criando o dataframe simples para testarmos:

# Criando o Dataframe para testarmos
df = pd.DataFrame({'formacao': ['Superior Completo', 'Ensino Médio Completo', 'Superior Completo', 'Ensino Médio Completo', 'Superior Completo', 'Superior Completo'],
                      'faixa de idade': ['25-34','18-24','34-44','45-54','25-34','45-54' ],
                      'estado civil': ['Casado','Solteiro','Casado','Solteiro','Solteiro','Divorciado']})

Crie uma instância do LabelEncoder para utilizar:

# Instanciando o LabelEncoder para utilização
label_encoder = LabelEncoder()

Aplicando o label encoding em Python na variável categórica estado civil, o mesmo pode ser aplicado para todas se desejar:

# Adicionei a coluna estado civil encoder com os dados gerados do Label Encoding,
# mas no caso dependendo da sua analise pode sobrescrever os dados da coluna estado civil, fiz apenas para ilustrar
df['estado civil encoder']= label_encoder.fit_transform(df['estado civil']) 
df.head()

No caso aqui, aplicamos o label encoding à variável categórica “estado civil” que desejamos mudar.

Eu utilizei o método fit_transform que já ajusta os dados e transforma, mas caso deseje saber outra maneira de fazer pode ler a documentação sobre os métodos .fit() e .transform() nesse link da documentação.

Invertendo e restaurando os dados numéricos para categóricos em Python:

Existe o método .inverse_transform() que reverte a alteração feita para o formato anterior. Essa é uma boa opção caso deseje recuperar a alteração.

# Invertendo o Label Encoding em python
# Esse método ele volta 
df['estado civil encoder']= label_encoder.inverse_transform(df['estado civil encoder']) 
df.head()

Ainda no mesmo Jupyter notebook seguimos com o exemplo 2:

#lendo os dados do dataset
df_iris = pd.read_csv('dados/iris/Iris.csv')
df_iris.head()

#aplicaremos o Label Enconding na colua Species
# identificando quantos valores unicos existem
# veja que a saída de dados é no formato categórico
df_iris['Species'].unique()

# Aqui instanciamos o Label Encoder (não precisaria já que foi instanciado antes)
label_encoder = LabelEncoder()

label_encoder.fit(df_iris['Species'])

# Aqui fazemos a transformação para numérico
df_iris['Species'] = label_encoder.transform(df_iris['Species'])

df_iris['Species'].unique()

Alguns benefícios do utilizar o Label Encoding

• Uma forma de simplificar a utilização dos dados já que converte em numérico os valores categóricos permitindo assim realizar análises estatísticas, utilização com Machine Learning e criação de gráficos específicos.
• Reduz o consumo de memória já que dados numéricos ocupam menos memória que dados categóricos, o que pode facilitar principalmente quando trabalhar com grande volume de dados.
• Facilidade e flexibilidade para suas análises, já que essa técnica pode ser aplicada a múltiplas variáveis categóricas, o que pode facilitar na hora de realizar o pré-processamento dos dados, tratamento e limpeza.
• Melhora o desempenho em determinados algoritmos, já que em machine learning muitos algoritmos funcionam melhor com dados numéricos do que com categóricos. Pode gerar uma excelente otimização.
• Ordinalidade, principalmente se a variavel categórica tiver essa ordenação naturalmente no conjunto, isso pode ser importante em determinados tipos de analise que precise realizar.

Limitações do Label Encoding

Como nem tudo é perfeito, ao utilizar essa técnica é importante ficar atento a certos pontos.

O Label Encoding converte os dados categóricos em numéricos, mas atribui um número exclusivo (começando em 0) a cada classe de dados.

Isso pode levar à geração de questões prioritárias durante o treinamento de modelos de conjuntos de dados.

Um label com um valor alto pode ser considerado de alta prioridade do que um label com um valor mais baixo.

Label Encoding não é adequado para modelos lineares como Regressão Logística.

Quando usar Label Enconding?

Não é regra e sim uma recomendação, cabe a você analisar e tomar a decisão junto a equipe.

Quando tive um número baixo de categorias (entre 10 e 15 é uma recomendação).

Quanto mais categorias mais difícil interpretar, isso porque ela passa a se comportar como variável numérica podendo dificultar a análise.

Espero que tenha aprendido um pouco mais sobre como realizar Label Encoding em Python

O label encoding é um técnica extremamente útil e valiosa quando se trata de análise de dados e machine learning quando o assunto é trabalhar com variáveis categóricas.

Essa técnica permite transformar atributos qualitativos em numéricos, ampliando assim sua utilização por muito mais algoritmos e análises.

Você pode utilizar label encoding em diversas aplicações que vão desde a visualização de dados, análise de cluster, até NLP e muito mais.

A biblioteca sci-kit-learn fornece ferramentas extremamente úteis para realizar esse trabalho de forma simples e rápida, gerando assim ganho de tempo. Minha recomendação é que leia a documentação e estude mais sobre as possíveis aplicações dessa técnica.

O conteúdo foi útil? Tem alguma dúvida ou o que você gostaria de saber mais? Fique à vontade para entrar em contato!

Link para o código do Jupyter Notebook no GitHub

https://github.com/dadlevelmax/label-encoding-python