Big Data Research

Solve your problems or get new ideas with basic brainstorming

Get Started. It's Free
or sign up with your email address
Rocket clouds
Big Data Research by Mind Map: Big Data Research

1. Geographical Analysis

1.1. Geocoding

1.2. geographical constraint

2. Cloud Platforms

2.1. Google Compute Engine

2.2. Google BigQuery

2.3. Google CoudSQL

2.4. 이런 녀석들과 연동해서, cloud를 직접 구축하지 않고도 사용한 만큼만 pay할 수 있도록 하면 client의 초기 도입 비용 부담을 줄일 수 있다. 게다가 분석 project라면 일회성이기 때문에 그것만을 위해 machine들을 구입하는 것은 값비싸다. 예전에 NYT가 amazon instances를 사용한 것처럼, 우리도 분석 서비스를 이런 클라우드 과금과 연결시킬 필요가 있다.

3. Facebook OpenGraph

3.1. FB like 기반 open graph를 받으면 그 그래프의 규모는 상당히 클 거고 그 분석은 머신 한 대에서 하기 버거울지도. 게다가 client들은 big data analysis를 했다고 하면 더 좋아할 것

3.2. S사에서 FB open graph 데이터를 N사에 분석해 달라고 요청했던데, 이런 식으로 각 client의 own user는 많지 않더라도 FB에서의 마케팅 자료는 아주 클 수 있어서 일반 1-machine으로는 분석이 어려움

4. Hadoop

4.1. Giraph

4.2. Mahout

4.3. Page Rank using MapReduce

4.4. MR is convenient for parallelizing individual node/edge-level calculations

4.5. Hadoop Streaming w/ Python

5. Matrix Multiplication

5.1. matrix multiplication은 MapReduce로 분산 가능. 큰 규모의 graph에서 matrix multiplication이 필요한 알고리즘은 분산 처리 가능

6. Tools

6.1. Gremlin

6.2. neo4j

7. Machine Learning

8. Business Intelligence

8.1. Google Prediction API처럼 임의의 데이터를 분석해 기업 전략 분석을 도와주는 소프트웨어 필요.

8.1.1. 실시간이 될 수도 있고, batch성이 될 수도 있다.

8.1.2. Google Prediction API가 제공하는 것: - recommendation - spam detection - sentiment anal. - document classification - detect suspicious activity - churn anal. - language detection - etc.

8.2. OLAP

8.3. OLAP

9. Searching

9.1. Email archiving

10. Real-time DB