03 - A Ciência de Dados

1. Knime para Ciência de Dados

1.1. Porque o Knime?

1.1.1. todas as principais técnicas de ciência de dados e aprendizado de máquina baseados em programação visual.

1.1.2. software de código aberto

1.1.3. É gratuito

1.2. Plataforma

1.2.1. Low Code

1.2.1.1. NODEs

1.2.1.1.1. substitui uma ou mais linhas de script

1.2.1.2. Fluxo

1.2.1.2.1. substitui um script

1.2.1.3. Tudo Gráfico - Sem Codificação

1.2.1.4. arrastar e soltar

1.3. Aprendizado

1.3.1. muito fácil de usar

1.3.2. Pode ser usado por pessoas sem conhecimento em programação

1.3.3. liberando tempo e recursos preciosos para investigações mais importantes.

1.4. Comunidade

1.4.1. KNIME Hub

1.4.2. Compartilhar seus Fluxos

1.4.3. fazer o download de fluxos de outros usuários do KNIME

2. Prática Knime

2.1. Instalando o Knime

2.2. Explorando a ferramenta

2.3. Criando o primeiro fluxo

3. A Análise de Dados

3.1. O que é Análise de Dados?

3.1.1. Os dados são o novo petróleo?

3.1.1.1. Os dados estão sendo usados para promover verdadeiras mudanças nos mais variados segmentos

3.1.1.2. Atualmente é impossível gerir uma empresa ou contribuir para a gestão sem algum tipo de análise de dados

3.1.1.3. Análise de dados é uma ferramenta poderosa para guiar estratégias

3.1.1.4. Mais do que o novo petróleo, os dados hoje são comparados à água ou ao oxigênio: um recurso renovável e vital para a subsistência de qualquer algoritmo

3.1.1.4.1. Os dados são infinitos, reutilizáveis e ganham valor quanto mais são processados.

3.1.1.4.2. o petróleo é escasso, poluente e consumido após o uso.

3.1.2. Conceito

3.1.2.1. Análise de dados é o processo de aplicação de técnicas estatísticas e lógicas para avaliar informações obtidas a partir de determinados processos.

3.1.2.2. Data Driven

3.1.2.2.1. Quando a empresa baseia a tomada de decisão e o planejamento estratégico na coleta e na análise de informações – e não em intuições ou simples experiências.

3.1.2.2.2. Vantagens

3.2. Benefícios da Análise de Dados

3.2.1. Antecipação de necessidades e trabalho proativo

3.2.1.1. Chega de trabalho reativo!

3.2.1.2. Com uma boa gestão e análise de dados, é possível trabalhar de forma preditiva

3.2.1.3. personalização e efetividade no atendimento

3.2.1.4. entender as particularidades de cada processo

3.2.2. Criação de estratégias de serviços e produtos mais efetivas

3.2.2.1. informações do mercado e a comparação entre resultados a nível global

3.2.2.2. identificação de tendências

3.2.2.3. impulsionar as estratégias

3.2.3. Redução de riscos

3.2.3.1. Risco é qualquer situação que pode afetar a capacidade de atingir objetivos.

3.2.3.2. Com a ajuda de dados eficientes e recursos de análise, as empresas conseguem projetar resultados e avaliar os riscos de investir em estratégias e ferramentas

3.2.4. Melhor experiência do cliente

3.2.4.1. Estratégias devem ser sempre focadas em atender às principais demandas dos clientes

3.2.4.2. A analise de dados cria uma base de conhecimento pautada na mensuração de resultados

3.2.4.3. Podemos então aplicar métricas e indicadores para acompanhar a evolução do serviço

3.2.4.4. E tambem consultar o desempenho de estratégias semelhantes aplicadas em contextos diversos

3.3. Tipos de Análise de Dados

3.3.1. Análise descritiva

3.3.1.1. O que aconteceu?

3.3.1.2. Análise de dados baseado em fatos

3.3.1.3. Feita a partir de resultados obtidos

3.3.1.4. Para guiar a construção de estratégias que orientam a condução do negócio

3.3.1.5. Exemplos

3.3.1.5.1. Relatórios

3.3.1.5.2. Segmentação e controle de clientes

3.3.1.5.3. Análises de negócio - BI

3.3.1.5.4. Aplicação de métricas

3.3.1.5.5. Avaliação de resultados

3.3.2. Análise diagnóstica

3.3.2.1. Por que isso aconteceu?

3.3.2.2. Concentrada em algo que já aconteceu.

3.3.2.2.1. Como a análise descritiva

3.3.2.3. Tem, como objetivo, encontrar relações de causa e efeito para destrinchar um acontecimento

3.3.2.3.1. analisar o impacto e alcance de uma ação tomada

3.3.2.4. Baseada em probabilidades

3.3.2.5. Um pouco menos difundida, mas nem por isso menos útil

3.3.2.6. Exemplos

3.3.2.6.1. testes A/B

3.3.2.6.2. testes de hipótese

3.3.2.6.3. método científico

3.3.3. Análise preditiva

3.3.3.1. O que acontecerá?

3.3.3.2. O mais popular dos tipos de análise de dados

3.3.3.3. Faz a previsão de cenários futuros com base na análise de padrões revelados pela base de dados

3.3.3.3.1. O objetivo da análise preditiva é determinar uma tendência, correlação, causa ou probabilidade

3.3.3.3.2. o que deve acontecer SE determinadas condições se cumprirem

3.3.3.4. Baseada em dados estatísticos e históricos

3.3.3.5. Exemplos

3.3.3.5.1. Detectar fraude

3.3.3.5.2. Otimizar campanhas de marketing

3.3.3.5.3. Melhorar operações

3.3.3.5.4. Reduzir o risco

3.3.4. Análise prescritiva

3.3.4.1. O que fazer quando acontecer?

3.3.4.2. É o próximo passo após os resultados da avaliação preditiva

3.3.4.2.1. uma prescrição é uma recomendação a algo potencialmente previsto

3.3.4.2.2. Serve para direcionando dos esforços para obter o melhor resultado a partir das possibilidades.

3.3.4.3. Constantemente mutável

3.3.4.4. Usa Inteligência Artificial

3.3.4.4.1. Machine Learning

3.3.4.4.2. Deep Learning

3.3.5. Evolução

3.3.5.1. O Bi tradicional normalmente utiliza somente as análises descritiva e diagnostica

3.3.5.2. Com a grande quantidade de dados sendo gerados

3.3.5.3. com a capacidade de processamento cada vez maior disponível

3.3.5.4. Os conceitos tradicionais foram expandidos

3.3.5.5. Isso deu origem a Ciência de Dados

3.3.6. Resumo

4. Ciência de Dados

4.1. O que é a Ciência de Dados

4.1.1. “Decisões baseadas em emoções não são decisões. São instintos.”

4.1.2. Conceitos

4.1.2.1. A Ciência de Dados é o termo usado para definir a extração de insights de dados que são coletados de várias fontes.

4.1.2.1.1. Ciência de Dados é o processo para extrair informações valiosas a partir de dados

4.1.2.2. Ciência de Dados ajuda a analisar e interpretar grandes quantidades de dados.

4.1.2.3. Usando todas as técnicas e ferramentas disponíveis

4.1.3. A Ciência de dados é multidisciplinar.

4.1.3.1. Ferramentas e Métodos Automatizados

4.1.3.1.1. Computação

4.1.3.2. Analise de enormes quantidades de dados

4.1.3.2.1. Estatística

4.1.3.3. Extração de conhecimento

4.1.3.3.1. Negócio

4.1.4. A Ciência de dados é abrangente

4.1.4.1. A Ciência de Dados está ajudando a criar novos ramos da ciência e influenciando áreas das ciências sociais e humanas

4.1.4.2. A análise de dados estará presente em todas as áreas de conhecimento

4.1.5. Objetivos

4.1.5.1. extrair e interpretar os dados de forma eficaz e apresentá-los em uma linguagem simples e não técnica para os usuários finais e tomadores de decisão.

4.1.5.2. A palavra-chave em ciência de Dados, não é DADOS e sim CIÊNCIA.

4.2. Ciência de Dados e o BI - Business Intelligence.

4.2.1. BI e a ciência de dados tem muita coisa em comum

4.2.2. mas a sua abordagem, tecnologia e função diferem de diversas maneiras.

4.2.3. BI X Ciência de Dados

4.2.3.1. BI

4.2.3.1.1. O objetivo do BI é converter dados brutos em insights de negócio,

4.2.3.1.2. Que os líderes empresariais e gestores possam usar para tomar decisões.

4.2.3.2. Ciência de Dados

4.2.3.2.1. também converte dados brutos em insights de negócio

4.2.3.2.2. mas aplica

4.3. Os profissionais da ciência de dados

4.3.1. Por causa dessa ampla variedade de competências, é praticamente impossível que um único profissional domine todo o ciclo de vida dos dados com a mesma perfeição.

4.3.2. Profissionais de dados trabalham como uma engrenagem: o sucesso de um depende da entrega do outro

4.3.3. Engenheiro de Dados (Data Engineer)

4.3.3.1. Se a Ciência de Dados fosse uma rede de distribuição de água, o Engenheiro de Dados seria o responsável por projetar e construir todas as tubulações, bombas e sistemas de filtragem.

4.3.3.1.1. Sua função principal é coletar os dados brutos de diversas fontes (sistemas transacionais, arquivos CSV, logs de aplicativos), criar os pipelines de integração (processos de ETL ou ELT) e garantir que essas informações cheguem limpas, organizadas e seguras aos repositórios centrais, como os Data Lakes ou Data Warehouses.

4.3.3.2. Foco principal

4.3.3.2.1. Infraestrutura, arquitetura de armazenamento, performance de consultas e limpeza de dados brutos.

4.3.3.3. O que ele resolve?

4.3.3.3.1. Como podemos mover e armazenar de forma segura 5 terabytes de dados gerados diariamente pelo nosso aplicativo?

4.3.4. Cientista de Dados (Data Scientist)

4.3.4.1. Com a infraestrutura construída e os dados limpos pelo engenheiro, entra em cena o Cientista de Dados

4.3.4.2. Este profissional utiliza o método científico, algoritmos avançados e conceitos de matemática e estatística para explorar os dados em busca de padrões ocultos e correlações.

4.3.4.2.1. O papel do Cientista de Dados está fortemente concentrado nas análises preditiva e prescritiva.

4.3.4.3. Foco Principal:

4.3.4.3.1. Modelagem estatística, testes de hipóteses, algoritmos preditivos e inteligência artificial.

4.3.4.4. O que ele resolve?

4.3.4.4.1. Com base no histórico dos nossos clientes, qual é a probabilidade de um usuário cancelar a assinatura no próximo mês e o que podemos fazer para evitar isso?

4.3.5. O Analista de Dados / Analista de BI (Data / BI Analyst)

4.3.5.1. Este profissional foca majoritariamente nas análises descritiva e diagnóstica

4.3.5.2. criando relatórios dinâmicos, painéis interativos (dashboards) e KPIs que mostram em tempo real a saúde financeira e operacional da organização.

4.3.5.3. Foco Principal

4.3.5.3.1. Visualização de dados, análise de métricas, geração de relatórios e comunicação com gestores.

4.3.5.4. O que ele resolve?

4.3.5.4.1. Quais foram as regiões que apresentaram queda nas vendas no último trimestre e quais produtos causaram esse impacto?"

4.3.6. Resumo