1. Fases KDD
1.1. limpieza de datos
1.1.1. Data cleansing
1.1.1.1. Eliminar el mayor número posible de datos erróneos o inconsistentes
1.1.2. Criba
1.1.2.1. Selección de datos e eliminación de datos irrelevantes
1.1.3. Uso de histogramas, muestreo y redefinición de atributos
1.2. integracion de datos
1.2.1. combina multiples fuentes de datos
1.2.1.1. Creación del subconjunto de variables o ejemplos sobre los que se realizará el descubrimiento. Esto implica consideraciones sobre la homogeneidad de los datos, su variación a lo largo del tiempo, estrategia de muestreo, grados de libertad, etc.
1.3. Seleccion de datos
1.3.1. recupera datos relevantes
1.3.1.1. Eliminación de ruido, estrategias para manejar valores ausentes, normalización de los datos, etc.
1.4. Mineria de datos
1.4.1. métodos para extraer patrones de datos
1.4.1.1. Clasificación: clasifica un dato dentro de una de las clases categóricas predefinidas.
1.4.1.2. Regresión: el propósito de este modelo es hacer corresponder un dato con un valor real de una variable
1.4.1.3. Clustering: se refiere a la agrupación de registros, observaciones, o casos en clases de objetos similares.
1.4.1.3.1. Un cluster es una colección de registros que son similares entre sí, y distintos a los registros de otro cluster
1.4.1.4. Generación de reglas: aquí se extraen o generan reglas de los datos.
1.4.1.4.1. Hacen referencia al descubrimiento de relaciones de asociación y dependencias funcionales entre los diferentes atributos.
1.4.1.4.2. Se fundamenta en técnicas estadísticas como los análisis de correlación y de variación.
1.4.1.5. Resumen o sumarización: estos modelos proporcionan una descripción compacta de un subconjunto de datos.
1.4.1.6. Análisis de secuencias: se modelan patrones secuenciales para identificar como la ocurrencia de una acción desencadena otras posteriormente
1.4.1.6.1. El objetivo es modelar los estados del proceso, o extraer e informar de la desviación y tendencias en el tiempo.
1.4.1.7. Previsión
1.4.1.7.1. Establece el comportamiento futuro más probable dependiendo de la evolución pasada y presente
1.4.1.8. Simulación
1.4.1.8.1. Generación de múltiples escenarios o posibilidades sujetas a unas reglas o esquemas con el objeto de analizar la idoneidad y comportamiento de una decisión o prototipo en un marco de posibles condiciones futuras y analizar las posibles variaciones o alternativas a una decisión o situación.
1.5. Evaluación de patrones extraídos en fase previa
1.5.1. patrones interesantes
1.5.1.1. Filtración del conocimiento de forma automática
1.5.1.2. Técnicas de visualización para facilitar la valoración de los resultados
1.6. construcción de conocimiento
1.6.1. generación de nueva información
1.6.2. Documentación
1.6.3. Revisión y resolución de posibles inconsistencias
2. Técnicas
2.1. Inteligencia Artificial-algoritmos
2.1.1. redes neuronales
2.1.1.1. perception
2.1.1.2. perception multicapa
2.1.1.3. redes kohonen
2.2. regresión lineal
2.2.1. Datos continuos
2.2.1.1. Regresión lineal global (clásica)
2.2.1.2. Regresión lineal ponderada localmente
2.3. árbol de decisiones
2.3.1. algoritmo ID.3
2.3.2. algoritmo C4.5
2.4. modelo estadístico
2.4.1. Análisis de varianza
2.4.2. Chi cuadrado
2.4.3. Análisis de clusters
2.5. reglas de asociación
2.5.1. Asociaciones de jerarquías
2.5.2. Asociaciones negativas
2.5.3. Asociaciones con valores binarios y contínuos
2.6. agrupación o clustering
2.6.1. algoritmo K-means
2.6.2. algoritmo K-medoids
2.7. Algoritmo genético
2.7.1. Hacen uso de las técnicas biológicas de reproducción (mutación y cruce) para ser utilizadas en todo tipo de problemas de búsqueda y optimización
2.8. Otras:
2.8.1. Series temporales
2.8.2. Lógica difusa
2.8.3. Redes Bayesianas
3. Metodos
3.1. KDD: acuñado en 1989 se refiere a todo el proceso de extracción deconocimiento a partir de una base de datos
3.1.1. entendimiento y meta
3.1.2. crear conjunto de datos objetivo
3.1.3. limpieza y procesamiento de datos
3.1.4. reducción datos y proyección
3.1.5. minería de tatos
3.1.6. análisis exploratorio e hipótesis de modelo selección de algoritmo
3.1.7. búsqueda patrones de interés
3.1.8. interpretación
3.1.9. generación de conocimiento
3.2. KRISP-DM
3.2.1. comprensión de negocio
3.2.2. comprensión de datos
3.2.3. preparación datos
3.2.4. modelamiento
3.2.5. evaluación
3.2.6. despliegue
3.3. SEMMA
3.3.1. selección
3.3.2. exploración
3.3.3. modelamiento datos
3.4. proceso de extracción de conocimiento a partir de
3.5. una base de datos
4. Etapas
4.1. selección del modelo
4.1.1. Tipo de datos
4.1.2. Objetivo a lograr
4.2. preprocesamiento
4.2.1. Ajusta el modelo buscando unos valores que intenten maximizar la “bondad” del mismo
4.2.1.1. Todo modelo debe venir acompañado por una función de adaptación que sea capaz de medir el ajuste.
4.3. transformación de datos
5. Aplicaciones
5.1. Comercio y banca: segementación de clientes, previsión de ventas, análisis de riesgo
5.2. Medicina y Farmacia: diagnostico de enfermedades y la efectividad de los tratamientos.
5.3. Seguridad y detección de fraude: reconocimiento facial, identificaciones biométricas, accesos a redes no permitidos, etc.
5.4. Astronomía: identificación de nuevas estrellas y galaxias
5.5. Geología, minería, agricultura y pesca: identificación de áreas de uso para distintos cultivos o de pesca o de explotación minera en bases de datos de imágenes de satelites
5.6. Ciencias Ambientales: identificación de modelos de funcionamiento de ecosistemas naturales y/o artificiales (p.e. plantas depuradoras de aguas residuales) para mejorar su observación, gestión y/o control.
5.7. • Ciencias Sociales: Estudio de los flujos de la opinión pública. Planificación de ciudades: identificar barrios con conflicto en función de valores sociodemográficos.
6. Tipos de Información
6.1. Conocimiento Evidente
6.1.1. consulta SQL
6.2. Conocimiento multidimensional
6.2.1. OLAP
6.2.1.1. Navegación por los datos
6.2.1.2. Soportar requerimientos complejos de análisis
6.2.1.3. Analizar datos desde diferentes perspectivas
6.3. Conocimiento oculto
6.4. Conocimiento profundo
6.4.1. información codificada
7. Herramientas
7.1. Técnicas de verificación
7.1.1. comprueba hipótesis suministrada por el usuario
7.2. métodos de descubrimiento
7.2.1. técnicas de predicción
7.3. Clementine de SPSS
7.3.1. integración de data mining con otros procesos y sistemas
7.4. Weka
7.4.1. tareas estándar de minería de datos
7.5. Yale
7.5.1. descubrimiento del conocimiento
7.6. RAMSES
7.6.1. gestión de riesgos integrado
7.7. SAS
7.7.1. incorpora patrones inteligentes a procesos de marketing
7.8. Xelopes
7.9. SNNS
8. Clasificacion
8.1. No supervisadas
8.1.1. Descrubrimiento del conocimeinto
8.1.1.1. Descriptivas
8.1.1.1.1. Generar información
8.1.1.1.2. Agrupar
8.1.1.1.3. Visualizar
8.1.1.1.4. Análisis de asociación
8.2. Supervisadas
8.2.1. Extracción de información
8.2.1.1. Descubir tendencias y patrones de comportamiento
8.2.1.1.1. Muestra de datos
8.2.1.1.2. Aprendizaje del modelo
8.2.1.1.3. Generar predicciones
8.2.2. Desventajas
8.2.2.1. Los errores en etapas iniciales no detectados se multiplican en las etapas posteriores
8.2.2.2. Si los datos iniciales no son representativos de toda la población se puede incurrir en desviaciones
8.2.2.3. El modelo puede ser incapaz de detectar los diferentes tipos de datos que se desvían del conjunto de entrenamiento inicial.
8.2.2.4. A veces, la suposición de que los clusters dentro de los datos no se superponen y que se pueden separar fácilmente no es correcta.