06 - Normalização e discretização de dados

1. Discretização

1.1. É o processo de transferência de funções contínuas, modelos, variáveis e equações em contrapartes discretas

1.1.1. é o processo de colocar valores em agrupamentos de modo que haja um número limitado de possíveis estados

1.1.2. cria um número limitado de possíveis estados fazendo a conversão de valores numéricos em intervalos categóricos.

1.2. alguns algoritmos só trabalham com entradas de valores discretos

1.2.1. não conseguindo prever valores contínuos

1.2.2. algumas colunas podem conter tantos valores

1.2.3. que o algoritmo não pode identificar facilmente os padrões

1.3. Exemplo

1.3.1. Ao invés de trabalhar com a idade

1.3.2. o atributo idade pode ser discretizado nos seguintes intervalos fixos:

1.3.3. (0, 20], (20, 30], (30, 40], (40, 50], (50, 65], (65, 80], (80, ∞]

1.4. Métodos comuns de discretização

1.4.1. Por entropia

1.4.1.1. Maximiza o ganho de informação nos intervalos

1.4.2. Usando técnica de agrupamento

1.4.2.1. k-means

1.4.3. Por intervalo

1.4.3.1. Largura fixa – Intervalos Iguais

1.4.3.1.1. Dividir o intervalo de todos os possíveis valores de um atributo entre N grupos

1.4.3.1.2. do mesmo tamanho

1.4.3.1.3. atribuir os valores correspondentes a um compartimento a um número do compartimento

1.4.3.2. Frequência fixa – Intervalos com a mesma frequência

1.4.3.2.1. Dividir o intervalo de todos os possíveis valores de um atributo em N grupos

1.4.3.2.2. que contém o mesmo número de instâncias

1.4.3.2.3. atribuir os valores correspondentes a um compartimento ao número do compartimento

2. Avançando no pré-processamento

2.1. Engenharia de atributos (Feature Engineering)

2.1.1. A Engenharia de Atributos é o processo de usar o conhecimento do negócio para criar variáveis (atributos ou colunas) a partir das informações que já existem na base bruta.

2.1.2. O objetivo é destacar os padrões ocultos para que o algoritmo de Machine Learning consiga compreendê-los com menor custo computacional.

2.1.3. Imagine um chef de cozinha recebendo tomates inteiros. Ele pode jogá-los inteiros na panela, mas o molho ficará pronto muito mais rápido e com melhor qualidade se ele descascar, tirar as sementes e picar os tomates antes.

2.1.3.1. A Engenharia de Atributos é esse trabalho de "picar" e preparar o ingrediente bruto para o algoritmo.

2.1.4. Exemplo

2.1.4.1. Em uma base de dados de e-commerce, você tem uma coluna com o histórico exato do "Horário da Compra" (ex: 23:45, 02:15, 04:10).

2.1.4.2. Para um classificador, esses números soltos dizem pouco

2.1.4.3. . Ao aplicar a engenharia de atributos, você pode criar uma nova coluna categórica chamada "É_Madrugada" (assumindo 1 para sim e 0 para não), ajudando o modelo a identificar um padrão de fraudes noturnas de forma direta.

2.2. Tratamento de dados categóricos (Encoding)

2.2.1. Os modelos matemáticos e os algoritmos de aprendizado de máquina são, essencialmente, grandes calculadoras: eles só processam equações e números reais.

2.2.2. Por isso, a presença de variáveis qualitativas ou categóricas (como sexo, estado civil ou cor) impede a execução direta dos cálculos.

2.2.3. O Encoding é o processo de traduzir texto em formato numérico sem perder o significado original do dado.

2.2.4. Pense no Encoding como um tradutor juramentado em uma reunião de negócios.

2.2.4.1. Se o algoritmo só fala "Matematiquês" e os seus dados estão escritos em "Linguagem Natural", o Encoding transforma as palavras em números para que a conversa aconteça.

2.2.5. Exemplo

2.2.5.1. Se você tem uma coluna chamada "Grau de Instrução" com os valores Fundamental, Médio e Superior, você pode aplicar o Label Encoding, transformando-os em uma ordem lógica: 1, 2 e 3.

2.2.5.2. Já para uma variável sem ordem (nominal), como "Região" (Norte, Sul, Sudeste), usamos o One-Hot Encoding, que transforma a coluna original em três colunas distintas preenchidas apenas com 0 ou 1 (ex: a coluna "Região_Norte" assume 1 se o registro for daquela localidade e 0 se não for).

2.3. Tratamento de desbalanceamento de classes (Técnica SMOTE)

2.3.1. Em problemas de classificação (onde o algoritmo precisa prever se um evento vai acontecer ou não), é muito comum encontrar bases de dados severamente desbalanceadas.

2.3.2. Isso significa que a classe de interesse (o evento raro) possui pouquíssimos registros em comparação com a classe normal.

2.3.3. Para resolver isso sem criar dados puramente repetidos, utiliza-se a técnica SMOTE (Synthetic Minority Over-sampling Technique).

2.3.4. Imagine que você está treinando um cão de guarda para reconhecer invasores.

2.3.4.1. Se em 1.000 dias de treinamento ele vir 999 fotos de moradores da casa e apenas 1 foto de um ladrão, ele simplesmente assumirá que todo mundo é morador e falhará na segurança.

2.3.4.2. O SMOTE cria de forma computacional "fotos sintéticas" de novos ladrões baseando-se nas características daquela única foto real, equilibrando o treinamento.

2.3.5. Exemplo

2.3.5.1. Em um sistema de detecção de fraudes em cartões de crédito, de cada 100.000 transações armazenadas no banco de dados, apenas 100 são fraudes reais.

2.3.5.2. Se treinarmos o modelo assim, ele terá 99,9% de acerto apenas dizendo que nenhuma transação é fraude

2.3.5.3. Ao aplicar o SMOTE na amostragem, o algoritmo analisa matematicamente as 100 fraudes reais e gera transações fraudulentas sintéticas (mas muito realistas) na staging area, equilibrando a proporção para 50/50 antes do treinamento do modelo.

2.4. Resumo

3. Resumo

3.1. resumo geral

4. Conceitos

4.1. Porque usar?

4.1.1. Já vimos a importância de preparar os dados antes de alimentar qualquer modelo.

4.1.2. Tecnicas de machime Learning não conseguem tratar dados não normalizados ou não discretizados

4.1.3. os modelos matemáticos e os algoritmos são sensíveis aos formatos numéricos.

4.1.4. Para transformar dados brutos em um ambiente onde o aprendizado de máquina ocorra de forma eficiente, aplicamos técnicas de pré-processamento estruturadas.

5. Normalização

5.1. O que é?

5.1.1. redimensiona os valores numéricos para um intervalo especificado

5.1.2. Normalizar dados significa trabalhar com a mesma escala para as nossas análises

5.1.3. Diferentes escalas é um problema que pode inferir sobre os resultados dos algoritmos

5.1.4. Imagine tentar avaliar o desempenho de dois veículos, mas a velocidade de um está em "quilômetros por hora" e a do outro em "metros por segundo".

5.1.4.1. A normalização converte tudo para a mesma unidade de medida, impedindo que o algoritmo dê mais importância a um número apenas porque o valor absoluto dele é maior.

5.2. Exemplo

5.2.1. um atributo que seja uma contagem de valores

5.2.2. outro pode ser um valor em medidas de peso

5.2.3. pode ser interessante normalizar os valores em uma única faixa

5.2.4. transformamos os valores do atributo em intervalos determinados

5.2.5. normalizar os dados entre a faixa de valores 0 e 1

5.2.5.1. maior valor será o número 1 e o menor 0

5.2.5.2. A normalização altera a escala dos dados, normalmente para padronizá-la

5.3. Tipos

5.3.1. min-max

5.3.1.1. redimensiona linearmente cada recurso no intervalo [0,1].

5.3.1.2. O redimensionamento do intervalo [0,1] é feito mudando os valores de cada recurso para que o valor mínimo seja 0

5.3.1.3. em seguida, dividindo pelo novo valor máximo (que é a diferença entre os valores máximos e mínimos originais)

5.3.1.4. Formula

5.3.1.4.1. se valores variam de 12000 a 98000

5.3.1.4.2. e queremos normalizá-los entre [0,1]

5.3.1.4.3. então 73600 vira:

5.3.1.4.4. { (73600 – 12000) / (98000 – 12000) } * (1 – 0) + 0 = 0,716

5.3.2. Z-score

5.3.2.1. Escalar dados com base na média e desvio padrão

5.3.2.2. dividir a diferença entre os dados e a média pelo desvio padrão

5.3.2.3. Formula

5.3.2.3.1. A média e o desvio padrão são calculados para cada coluna separadamente

5.3.3. Escala decimal

5.3.3.1. dimensionamos os dados movendo o ponto decimal do valor do atributo.

5.3.3.2. O número de pontos decimais depende do máximo valor absoluto dos dados

5.3.3.3. Formula