CICLO DE VIDA DE UN PROYECTO EN BIG DATA

1. BIG DATA

2. MECANISMOS TECNOLÓGICOS

2.1. Dispositivo de almacenamiento

2.2. Motor de procesamiento

2.3. Gestor de recursos

2.4. Motor de Transferencia de datos

2.5. Motor de Consultas

2.5.1. Proporciona una interfaz de usuarios para consultar datos subyacentes y permite crear planes de ejecución de consultas.

2.6. Motor Analítico

2.6.1. Procesa avanzados algoritmos estadísticos y de aprendizaje automático, incluyendo patrones y correlaciones (cuando un motor de consultas no es suficiente)

2.7. Motor de Flujo de Trabajo

2.7.1. Permite diseñar y procesar una secuencia compleja de operaciones que puede ser activada periódicamente.

2.8. Motor de Coordinación

2.8.1. Coordina el procesamiento de datos en un gran número de servidores -Gestionar los bloqueos distribuidos -Gestionar las colas distribuidas -Registro de disponibilidad Asegurar comunicación asíncrona entre procesos de diferentes servidores

3. TIPO ANÁLISIS Y TÉCNICAS DE ANÁLISIS

3.1. Cuantitativo -> correlación y regresión Cualitativo-> NLP, analítica de texto y sentimientos Minería de datos –> mapas de calor, series temporales, redes datos espaciales, agrupamiento, datos atípicos Descriptiva -> test A/B, mapas de calor, datos espaciales Diagnostica-> correlaciones, regresión, series temporales, redes espaciales Predictiva -> correlaciones, regresión, series temporales, NLP, atípicos Preinscriptiva -> Igual que predictiva Aprendizaje Supervisado -> clasificación, datos atípicos, filtrado, NLP Aprendizaje No Supervisado -> agrupamiento, datos atípicos, filtrado, NLP

4. Evaluación del caso de negocio: Debe estar relacionado a unas de las características de BD velocidad, variedad y volumen.

5. Identificación de datos: Se encarga de identificar datasets y sus fuentes.

6. Adquisición y filtrado: Se realiza filtrado de las fuentes de datos para eliminar datos corruptos y marcados por no tener valor en los objetivos de análisis.

7. Extracción: Está dedicado a la extracción de datos dispares y transformarlos en formato que sea subyacente a la solución de BD.

8. Validación y Limpieza: Esta etapa está orientada a establecer normar de validación y eliminar datos inválidos conocidos.

9. Agregación y representación: Integración de múltiples datasets para llegar a una vista unificada.

10. Análisis: Tarea real de análisis, puede ser de carácter reiterativo si el análisis es exploratorio, este se repite hasta revelar un patrón o correlación.

11. Visualización: Uso de técnicas y herramientas para comunicar gráficamente los resultados del análisis.

12. Utilización de los resultados del análisis: Está orientada a determinar cómo y cuándo se pueden aprovechar los datos procesados de análisis.