Alten - Big Data

Commencez. C'est gratuit
ou s'inscrire avec votre adresse courriel
Rocket clouds
Alten - Big Data par Mind Map: Alten - Big Data

1. Développer projet Big Data

1.1. Step 1 : Expérimenter

1.1.1. Equipe

1.1.1.1. Leader Métier

1.1.1.2. Data Scientists

1.1.1.3. Responsable technique

1.1.2. But

1.1.2.1. Tester un système

1.1.2.2. Voir ce que peuvent apporter les data

1.1.2.3. Cycle court < 3 mois

1.1.3. Avoir une approche humble

1.1.3.1. Ne pas chercher trop loin

1.1.3.2. Tester beaucoup de petites choses

1.1.3.3. Faire des erreurs

1.1.3.3.1. et en tirer les lecons

1.1.3.4. Voir plus loin que son nez

1.1.3.4.1. Ne pas se contenter des acquis

1.1.3.4.2. Tester d'autres domaines

1.1.3.4.3. Tenter d'autres approches

1.2. Step 2 : Produire

1.2.1. Généraliser la solution

1.2.2. Rendre l'architecture compatibles avec d'autres sources de data

1.2.3. API

1.2.4. Eviter la sérenpidité

1.3. Facteurs Clefs de Succès issus de la BI

1.3.1. Reporting

1.3.1.1. Automatisation des tâches de calculs

1.3.1.2. Fréquence accrue

1.3.2. Dashboard

1.3.2.1. Voir l'information clairement et rapidement

1.3.3. Visuels attractifs

1.3.3.1. http://www.youtube.com/watch?v=jbkSRLYSojo&feature=youtu.be

1.3.3.2. http://www.withings.com/surchargemunicipale/

1.3.3.3. http://wrapbootstrap.com/preview/WB0F0419C

1.3.4. Modèles prédictifs

1.3.4.1. Anticiper les évolutions

1.3.5. Prescription

1.3.5.1. Proposer des solutions

1.3.5.2. Assistance à décision

1.3.6. Collaboratif

1.3.6.1. Permettre à tous de participer

1.3.6.2. Partage de l'information

1.3.7. Mobile

1.3.7.1. Augmenter l'accessibilité

1.3.7.2. Support de tous les formats et types de devices

1.4. Facteurs Clefs autres

1.4.1. Libre service

1.4.1.1. Projet modulaire

1.4.1.1.1. Architecture en blocs fonctionnels

1.4.1.2. Accessible à tous

1.4.1.3. Flexible

1.5. Ressources

1.5.1. Maps

1.5.1.1. Open Street Maps

1.5.2. Gouvernements

1.5.2.1. USA

1.5.2.2. France

1.5.2.3. Stack Exchange

1.5.3. Organismes

1.5.3.1. INSEE

1.5.3.2. Liste Wikipédia

1.5.3.3. Amazon Open Source Project

1.5.3.4. Infos Chimps

1.5.3.5. Réponse sur Quora

2. Responsabilités Projet

2.1. Responsable des traitements

2.1.1. Propriétaire mais aussi légalement responsable

2.1.1.1. Réservée au membre disposant des pouvoirs et compétences nécessaires

2.1.1.2. Propriétaire des data

2.1.1.3. Responsabilité civile et pénale

2.1.2. Aucune loi précise en France

2.2. Vie privée

2.2.1. Les users veulent les meilleurs offres

2.2.2. Tout en divulgant le moins d'infos possible

2.2.3. Monétisation des données privées

2.2.3.1. Offrir quelque chose en échange des data possédées

3. Cas d'analyses

3.1. Commerciaux

3.1.1. Création du modèle

3.1.2. Résultat posant problème éthique (âge sexe)

3.1.3. Réorganisation plutôt que suppression

3.1.4. Augmentation ventes et conservation emplois

3.2. Problématique récurrente : Rassembler les infos

3.3. Axa Banque - Soon

3.3.1. Architecture

3.3.1.1. Mainframe

3.3.1.1.1. Data bancaires

3.3.1.2. MongoDB

3.3.1.2.1. PJ du système

3.3.2. Projet

3.3.2.1. Appli permettant de gérer ses dépenses

3.3.2.2. Joindre des fichiers aux dépenses

3.3.2.3. Chat conseillers

3.3.3. Collaborateurs

3.3.3.1. iAdvize

3.3.3.1.1. Click to chat

3.3.3.2. Fiduceo

3.3.3.2.1. Joindre fichiers / facture

3.3.3.3. Paypal

3.3.3.3.1. Paiements

3.3.3.4. Tapptic

3.3.3.4.1. Coding

3.3.3.5. One Million Dollars

3.3.3.5.1. Design

3.3.3.6. API Cryptolog

3.3.3.6.1. Signature électronique

3.4. Dating

3.4.1. Deux types de recommandation

3.4.1.1. Par intérêt commun

3.4.1.2. Par identification à un groupe d'attitude similaire

3.4.2. Problèmes de véracité des infos

3.5. Law Enforcement

3.5.1. Minority Report Like

3.5.1.1. Croiser les infos

3.5.1.1.1. Bar boites etc

3.5.1.1.2. Data des crimes passé

3.5.1.2. Etablir un plan d'action sur une zone en fonction de l'analyse

3.5.1.2.1. Prescriptive

3.5.1.3. Permettre aux inspecteurs d'accéder à plus de données pour leurs rechers

3.5.1.3.1. Assistance

3.5.2. Logiciel existant

3.5.2.1. Se base sur des critères physiques

3.5.2.2. Raciaux

3.5.2.3. Tatouages

3.5.2.4. Nombreux problèmes éthiques

3.5.2.5. Attention aux biais statistiques

3.5.3. Facebook

3.5.3.1. Marque des suspects

3.5.3.2. En fonction de leur activités

3.5.3.2.1. Répartition h-femmes

3.5.3.2.2. mots clefs

3.5.3.2.3. age des correspondants

4. Impasses

4.1. Bien choisir thème

4.1.1. ERP/CRM etc OK

4.1.2. Médecine, sciences, CB Mieux

4.2. Manque de compétences

4.2.1. Nécessite des compétences Analytics afin d'exploiter le résultat

4.2.2. Compétences techniques de pointe

4.2.3. Connaissances métier

4.3. Optimisation

4.3.1. Permet de minimiser les coûts

4.3.2. Augmenter la vitesse de traitement

4.3.2.1. Génération de dashboard temps réel

4.3.2.2. Gain de temps *100

4.3.3. Construire des modèles plus élaborés

4.3.3.1. Cf météo

4.3.4. Mais aucune nouveauté en terme de traitement

4.4. Mauvaise interprétation

4.4.1. Problèmes sémantiques

4.4.2. Evolution des modèles

4.4.3. Toujours croiser avec des données 'terrain' = 'small data'

4.5. Legislation

4.5.1. Lois ancestrales non adaptées

4.5.1.1. 1978

4.5.1.2. Basée sur la demande d'accès aux data

4.5.1.3. et non à leur libre utilisation

4.5.2. Etat non contraint donc peu à même de participer à l'Open Data

4.6. Suppression de sources

4.6.1. Application non fonctionnelle

4.6.2. Perte valeur

4.6.3. Ne pas dépendre exclusivement d'une source

5. Opportunités

5.1. Mainframe

5.1.1. Obsolète

5.1.2. Coûts élevés

5.1.3. Manque de talents

5.1.4. Rigide

5.2. Consolidation et usage des data

5.2.1. 60% erreur de saisie

5.2.2. 19% techno non adéquat

5.2.3. 31% manque communication inter-services

5.2.4. 16% ne savent pas les exploiter

5.3. Occasion de ré-organiser

5.3.1. Un projet Big-Data permet de ré-organiser la structure de la société

5.3.1.1. Modification de la communication entre entités / branches

5.3.2. Ainsi que son système d'information

5.3.3. Ses équipes

5.4. Big Data as a service

5.4.1. Solution générique

5.4.1.1. Briques applicatives

5.4.1.2. Personnalisables

5.4.2. Distribuable à multiples entreprises / commerces

5.4.3. Paas / Saas

5.4.3.1. Cloud

5.4.4. Possible car manque de Data Scientist et trop chers

5.5. Focus client

5.5.1. Le Big Data permet d'une part la personnalisation des offres

5.5.2. Mais aussi une plus grande communication avec lui

5.5.3. Aussi bien d'un point de vue émetteur

5.5.3.1. CRM

5.5.4. Que récepteur d'informations

5.5.4.1. VRM

5.6. Quantified Self

5.6.1. http://fr.slideshare.net/benessen/knowthyself-sxsw-benessen

5.6.2. IoT

5.7. Météorologie

5.7.1. National Oceanic and Athmospheric Administration

5.7.1.1. 20TB de data chaque jour

5.7.1.2. 1/3 du PNB dépendrait de la météo

5.7.1.3. Ouverture des données

5.7.1.3.1. Création d'outils tiers

5.7.1.3.2. Emulation générale

5.7.1.4. Applications critiques

5.7.1.4.1. Forecast des tornades

5.7.1.4.2. Données en mer

5.7.1.5. Rentées d'argent pour NOAA qui est en perte

5.7.2. The Weather Company

5.7.2.1. Aujourd'hui

5.7.2.1.1. 13 datacenters

5.7.2.1.2. 8.8 millions relevés par heure

5.7.2.1.3. 5 types de SQL (SQL server, Cassandra ...)

5.7.2.2. Demain

5.7.2.2.1. AWS

5.7.2.2.2. NoSQL

5.7.2.2.3. 2.25*15 milliards de relevés par heure

5.8. Prescriptive Analysis

5.8.1. Analyser les data

5.8.2. Anticiper les répercussions futures

5.8.2.1. Etudier les différents cas de figures

5.8.2.2. Etablir une stratégie de remplacement

5.8.2.3. Réagir en conséquence

5.8.3. S'adapter en fonction des actions menées suite à cette analyse

5.8.4. Exemples : Terminator, Minority Report

5.8.5. Applications médicales, industrielles, recherche etc

5.9. Open Data

5.9.1. La France accelere

6. Focus

6.1. Collaboration métier

6.1.1. Projet Big Data <=>

6.1.2. Compétences techniques de pointe

6.1.3. Connaissances et problématique métier forte

6.2. Expertise analytique

6.2.1. Nécessite traitements statistiques et probabilistes

6.3. Former IT existant plutôt que remplacer

6.3.1. Les compétences Big Data peuvent être acquises à partir d'une base 'traditionnelle'

6.3.2. Les collaborateurs existants connaissent l'entreprise, ses ressources, son organisation, ses problématiques etc

6.3.3. Les remplacer nécessiterait de former de nouveau des équipes

6.4. Nouvelle implication du CIO

6.4.1. Le CIO obtiendrait un rôle plus central

6.4.2. Un CDO doit être désigné

6.4.3. Le financement du SI est modifié

6.4.3.1. Plus d'infrastructures lourdes

6.4.3.2. Développement du cloud

6.4.3.3. Paas / Iaas

6.4.3.4. Diminution du TCO (Total Cost of Ownership)

6.5. Agilité

6.5.1. Traitement rapide nécessite adaptation

6.5.2. Réactivité

6.5.2.1. Rapidité

6.5.3. Nouveaux modes de penser

6.5.3.1. et de calculer

6.5.3.2. expérimenter

6.5.3.3. présenter

6.5.4. Stay lean

6.5.4.1. Une grosse structure doit adopter une attitude startup afin de déployer un projet Big Data le plus rapidement possible

6.5.4.2. Adapter ses équipes à un travail plus lean

7. Toujours comparer à la bibliothèque du congrès !

7.1. On veut l'info

7.1.1. Plus

7.1.2. Plus vite

7.1.3. Meilleure qualité

7.1.4. Mieux présentée

7.2. https://www.mindmeister.com/395812276

8. Technologies

8.1. Databases

8.1.1. Basho Riak

8.2. Hadoop

8.2.1. Horton's - White Paper

8.2.1.1. Bénéfices

8.2.1.1.1. Faibles coûts de stockage

8.2.1.1.2. Plus flexible

8.3. Statistiques

8.3.1. Transformer Data en Information

8.4. Microsoft

8.4.1. Hadoop

8.4.1.1. Distribution Hadoop personnalisée MS

8.4.1.1.1. SQL Server

8.4.1.1.2. ODBC Driver to Query Hive from MS app

8.4.1.1.3. Excel Hive Add-in

8.4.1.2. Couche JS pour MapR

8.4.1.2.1. Permet manipulation depuis web browser

8.4.1.2.2. Plus simple à mettre en place que Java

8.4.1.3. Integration NodeJS

8.4.1.3.1. Donne accès à D3.JS

8.4.1.3.2. Data viz