ETL da Vida Real: Como Fazer ETL em Projetos de BI da Vida Real
1. Os Maiores Problemas do ETL nos Projetos de BI da Vida Real
1.1. 1
1.1.1. Quem implementa acha que é só focar na ferramenta
1.2. 2
1.2.1. Quem compra acha que é só tirar dados de um lado e jogar outro
1.3. 3
1.3.1. E quem vende diz que a ferramenta dele quase não dá trabalho
1.4. 4
1.4.1. Quem gerencia o projeto não considera o tempo de ENTENDER o fluxo dos dados
1.5. 5
1.5.1. Quem implementa não entende que ETL é um conjuntos de estratégias, técnicas e processos... e não uma ferramenta
1.5.2. A verdade é que a melhor ferramenta de ETL é a que implementa as estratégias e processo definidos ANTES!
1.6. 6
1.6.1. Ele não tem templates prontos
1.6.2. Ele não tem um acervo de estratégias de ETL
1.6.3. Ele não tem um processo claro e organizado para mapear, extrair, limpar e organizar os dados de origem e destino
1.7. 7 (o principal)
1.7.1. colocar o ETL como uma etapa e não como parte integrante de TODO o projeto
2. O Processo Completo
2.1. Ponto de Vista do Projeto
2.1.1. 1
2.1.1.1. Defini os requisitos
2.1.1.1.1. 5w3h
2.1.1.1.2. Prototipação
2.1.2. 2
2.1.2.1. Verifica a viabilidade nas fontes de dados
2.1.2.1.1. responsavel tec pelos dados
2.1.3. 3
2.1.3.1. Desenha o DW
2.1.4. 4
2.1.4.1. tabelão burro
2.1.4.2. Desenha o processos de ETL
2.1.5. 5
2.1.6. Desenha os cubos
2.1.7. 6
2.1.7.1. Desenha os Dashboards
2.2. Ponto de Vista dos Dados
2.2.1. 1
2.2.1.1. Copia os dados das fontes de dados
2.2.2. 2
2.2.2.1. Coloca esses dados na staging area
2.2.2.1.1. sem relacionamento
2.2.2.1.2. sem limpeza nenhuma
2.2.2.1.3. não faz nada ... só insere na tabela
2.2.3. 3
2.2.3.1. Limpa, junta, unifica, formata, etc
2.2.4. 4
2.2.5. 5
2.2.5.1. Cópia os dados e joga no Star schema
2.2.5.1.1. DW
2.2.5.1.2. Modelo dimensional
2.2.5.2. Conecta o cubo no DW e cria as métricas calculadas e KPIs
2.2.6. 6
3. 16 Modelos de Data Warehouse Prontos pra usar
4. Templates, Processos, Modelo de Documentos, Scripts Prontos, Modelos de DW
4.1. Biblioteca de Templates + Projeto Editora Outono
4.1.1. Cria as análises, gráficos, visualizações e apresenta eles num relatório ou dashboard