Apache Spark é um framework para processamento de grandes quantidades de dados que foi projetado especificamente para uso de cientista de dados.

Uma das razões para utilizar o Spark está diretamente relacionada à velocidade de processamento, que pode ser até 100 vezes mais rápido que Map Reduce em memória ou 10 vezes mais rápido em disco. Outra razão é a possibilidade de escrever código em Java, Scala, Python ou R.

Não necessariamente você precisa do Hadoop para executar Spark, mas os principais distribuições Hadoop já incluem Spark em suas instalações.

Para entender o Spark, precisamos dar uma olhada em seus componentes.

Spark SQL: Neste componente, podemos trabalhar com a linguagem SQL e de forma estruturada, realizar atividades de exploração e preparação de dados.

MLlib: É com este componente que podemos analisar os dados, gerar estatísticas e desenvolver modelos de “machine learning”. Basicamente temos um conjuntos de APIs para todas as linguagens mencionadas (Java, Python, Scala e R).

Segue uma lista (em inglês) das possíveis aplicações de machine learning:

Classification: logistic regression, naive Bayes,…

Regression: generalized linear regression, survival regression,…

Decision trees, random forests, and gradient-boosted trees

Recommendation: alternating least squares (ALS)

Clustering: K-means, Gaussian mixtures (GMMs),…

Topic modeling: latent Dirichlet allocation (LDA)

Frequent itemsets, association rules, and sequential pattern mining

Streaming: Com este componente, podemos capturar informações e processar pequenos lotes de dados. Por exemplo: é possível capturar tweets e realizar uma análise de sentimento de uma determinada notícia.

GraphX: Com este componente, é possível representar a “conexão” entre os dados de forma gráfica. É muito utilizado para apresentar as relações existentes em uma rede social, por exemplo, ou rede de pessoas e suas ligações telefônicas. Outro uso é mostrar o encadeamento entre as páginas web na internet.

Os componentes podem ser usados isoladamente e nem sempre é necessário usar todos eles.

Mapeamento Camada de Dados