1. Origine des besoins
1.1. Idées de usecases DS
1.1.1. UC Blanchiment
1.1.1.1. Données
1.1.1.2. Datascience
1.1.1.3. Fonctionnalités Trajectoire
1.2. Use Case métiers
1.2.1. UC 0 Score impayés FEM
1.2.1.1. Travail dans le cadre du POC Technique (UC0)
1.2.1.1.1. toutes les stories 231 à 239
1.2.1.2. Données
1.2.1.2.1. Flux safergame
1.2.1.2.2. PIA
1.2.1.2.3. Historique FEM
1.2.1.2.4. Documentation Colibra
1.2.1.3. Fonctionnalités Trajectoire
1.2.1.3.1. Stats intégration
1.2.1.3.2. Ingestion de donnée
1.2.1.3.3. Vue semantique
1.2.1.3.4. Partage via power BI
1.2.1.3.5. Envoi score vers Terradata
1.2.1.3.6. dérive Algo
1.2.1.4. Datascience
1.2.1.4.1. Demo
1.2.1.4.2. Gouvernance Eco systeme Datalake
1.2.1.4.3. Connexion Travaux N. Bauny
1.2.2. UC 1 Impayés (Prévention fermetures)
1.2.2.1. Données
1.2.2.1.1. Extract Données SI Finances (OEBS)
1.2.2.1.2. Extract Historique CA (SIDCO)
1.2.2.1.3. Extract Cautionnement (Cautionnement)
1.2.2.1.4. Flux SI Finance (OEBS)
1.2.2.1.5. Flux CA PDV (Calypso)
1.2.2.1.6. Flux Cautionnement (Cautionnement)
1.2.2.2. Datascience
1.2.2.3. Fonctionnalités Trajectoire
1.2.3. UC2 Inspections réseau
1.2.3.1. Données
1.2.3.1.1. Flux Validations Grattage (SGI-Net)
1.2.3.1.2. Extract Données Logistiques Grattage
1.2.3.1.3. Extract Inspections Réseau
1.2.3.1.4. Extract Référentiel Offres (ROF)
1.2.3.1.5. Flux Données Logistiques Grattages
1.2.3.1.6. Flux Inspections Réseau
1.2.3.1.7. Flux Référentiel Offre (ROF)
1.2.3.2. Fonctionnalités Trajectoire
1.2.3.2.1. Flux SID ou Safergame
1.2.3.2.2. File JMS (Flux ROF)
1.2.3.3. Datascience
1.2.4. UC 3 Moteur de reco MVP
1.2.4.1. Données
1.2.4.1.1. MOD Vues Terradata
1.2.4.1.2. Flux Prises de Jeu Digital et Liste des Jeux (SIDC)
1.2.4.2. Datascience
1.2.4.2.1. Partage Moteur de reco BU Loterie
1.2.4.2.2. Interface Front
1.2.4.2.3. Formation solene
1.2.4.3. Fonctionnalités Trajectoire
1.2.4.3.1. Acces externe Datalake
1.2.4.3.2. R shiny
1.2.5. UC 4 Analyse de Logs
1.2.5.1. Données
1.2.5.1.1. Domaine Digital
1.2.5.1.2. Domaines sports
1.2.5.1.3. Non priorisé
1.2.5.2. Fonctionnalités Trajectoire
1.2.5.3. Transférer Stories ENK dans JIRA
1.2.5.4. pas d'id de joueur donc n'est pas exploitable par sgrep
1.2.6. UC Jeu Responsable
1.2.6.1. Données
1.2.6.2. Fonctionnalités Trajectoire
1.2.6.3. Datascience
1.3. Conformité
1.3.1. Méthode/Qualité
1.3.1.1. CICD
1.3.1.2. Environnements
1.3.1.3. Poste de Travail
1.3.2. Urbanisation
1.3.2.1. Gestion de l'obsolescence
1.3.2.1.1. Flux Référentiel Distribution (RDI) : remplace SAGA)
1.3.2.2. Portage Safergame
1.3.2.2.1. Traitement UC Blanchiment
1.3.2.3. File JMS
1.3.3. GDPR
1.3.3.1. Droit a l 'oubli
1.3.3.2. Processus d'anonymisation
1.3.4. Sécurité
1.3.4.1. Bastions/Gates
1.3.4.2. Tracabilité des acces
1.3.4.3. Authentification
1.3.4.4. Gestion de role
1.3.4.5. Controle d'acces
1.3.4.6. Cryptage des flux
1.3.5. Exploitation
1.3.5.1. Organisation
1.3.5.1.1. RACI
1.3.5.2. Procédures DEVOPS
1.3.5.2.1. Incidents
1.3.5.2.2. Changements
1.3.5.2.3. Habilitations
1.3.5.2.4. MCO
1.3.5.3. MCO
1.3.5.3.1. Planification régulière d’un « fsck HDFS »
1.3.5.3.2. Planification régulière d’un « rebalance HDFS »
1.3.5.4. Niveau de service
1.3.5.5. Level Agrement
1.3.5.5.1. Haute dispo
1.3.5.5.2. Performance
1.3.5.6. Métrologie
1.3.5.7. Backup/Restore
1.3.5.7.1. Planification régulière d’un « backup metadata HDFS »
1.3.5.7.2. Planification régulière d’un « snapshot HDFS »
1.3.5.8. Alerting
1.3.5.9. Monitoring
1.3.5.9.1. Supervision Postgresql par « checkMK »
1.3.5.10. Documentation
1.3.5.10.1. DAT
1.3.5.10.2. DTE
1.3.5.10.3. Matrice de Flux / Matrice de Rupture
1.3.6. Gouvernance
1.3.6.1. Data management
1.3.6.1.1. Collibra
1.3.6.2. Resource managment
2. Classification fonctionnelle
2.1. Ingestion
2.1.1. Sources
2.1.1.1. DATENT-328 Source SID : Ingérer les données PDJ Digitale (hors-détail) et Liste des Jeux
2.1.1.2. DATENT-90 Source AEGIS (Grattage) : Ingérer les données de Validations Paiements
2.1.2. Ordonnanceur
2.1.2.1. ControlM
2.1.3. Collecteur
2.1.3.1. Nifi
2.1.3.1.1. Mise en place d'un load balancing sur les nifi collecteurs
2.1.3.1.2. DATENT-330 Repo de build de l'image Nifi et CI
2.1.3.1.3. DATENT-327 Formules Salt pour gérer les installations sur les machines de Nifi
2.1.3.2. JMS
2.2. Persistance
2.2.1. Synchronisation distribution
2.2.1.1. Zookeeper
2.2.1.1.1. DATENT-319 Formules Salt pour gérer les installations sur les machines de zookeeper
2.2.2. File distribué
2.2.2.1. Kafka
2.2.2.1.1. DATENT-332 Formules Salt pour gérer les installations sur les machines de Kafka
2.2.3. Stockage distribué
2.2.3.1. HDFS
2.2.3.1.1. Valider Scenario 6 - arret HDFS
2.2.4. Index distribué
2.2.4.1. Elasticsearch
2.2.4.1.1. DATENT-322 Securisation des images Elasticsearch et Kibana
2.2.4.1.2. DATENT-318 Repo de build de l'image Elasticsearch/Kibana et CI
2.2.4.1.3. DATENT-323 Formules Salt pour gérer les installations sur les machines de Elasticsearch/Kibana
2.2.4.1.4. DATENT-324 (Spike) Etudier la conf Elasticsearch pour débrider la performance (multi-instance par noeud)
2.2.4.1.5. DATENT-325 Service de nettoyage des indexes + 30 J
2.2.5. SGBD distribuée NoSQL
2.2.5.1. Cassandra ?
2.3. Traitements
2.3.1. Services
2.3.1.1. Scripts d'ingestion
2.3.1.1.1. DATENT-261 - Slave HDFS - gZiper les CSV pour l'archive ?
2.3.1.1.2. DATENT-264 - Pouvoir ré-ingérer complètement (tous les fichiers du flux) un flux de données
2.3.1.1.3. Méthodologie
2.3.1.1.4. Gouvernance
2.3.1.1.5. Exploitation
2.3.2. Traitement distribué
2.3.2.1. Jobs Spark
2.3.2.1.1. Transformation
2.3.2.1.2. Referencement
2.3.3. Traitement distribué Streaming
2.3.3.1. Spark Streaming
2.3.3.2. Nifi
2.3.3.2.1. Indexation performante en reconfigurant le composant d'ecriture vers Elasticsearch
2.4. Exposition
2.4.1. Vues
2.4.1.1. Hive
2.4.2. WebServices
2.4.2.1. ?
2.5. Usages
2.5.1. Exploration
2.5.1.1. DataScience
2.5.1.1.1. Jupyter Notebook
2.5.1.2. DataViz
2.5.1.2.1. Hue
2.5.1.2.2. Frontends
2.5.1.2.3. Kibana
2.5.2. Usages applicatifs
2.5.2.1. PowerBI
2.5.2.2. SID
2.6. Conformité
2.6.1. Administration/Configuration
2.6.1.1. Ambari
2.6.1.2. PostgreSQL
2.6.2. Monitoring et Supervision
2.6.2.1. Kibana
2.6.3. Gouvernance des usages
2.6.3.1. Ranger
2.6.3.2. YARN
2.6.3.2.1. Queues
2.6.4. Data Managment
2.6.4.1. Collibra
2.6.5. Méthode/Qualité
2.6.5.1. CICD
2.6.5.1.1. Usine Logicielle
2.6.5.1.2. Outils
2.6.5.2. Environnements
2.6.5.2.1. Batch layer (Datalake)
2.6.5.2.2. Speed layer (ENK)
2.6.5.2.3. Transverse
3. Vision cible
3.1. Affiner la vision
3.1.1. MOE
3.1.2. Equipe Datalake
3.2. Partage de la vision
3.2.1. Équipe Datalake
3.2.2. COEDIA
3.3. Objectifs vision cible par couche fonctionnelle
3.3.1. Ingestion
3.3.1.1. OBJ1 - Ingérer des fichiers depuis le réseau FdJ
3.3.1.2. OBJ2 - Ingérer des données au fil de l'eau depuis le réseau FdJ (streaming)
3.3.1.3. OBJ3 - Avoir des interfaces entrantes et sortantes avec des systèmes en dehors du réseau FdJ
3.3.2. Persistence
3.3.2.1. OBJ4 - Pouvoir indexer des données pour un usage de type moteur de recherche
3.3.3. Traitments
3.3.4. Exposition
3.3.4.1. OBJ6 - Mettre à disposition de la donnée en sortie du Datalake (exposition ou export)
3.3.5. Usage
3.3.5.1. OBJ14 - Consommer des données dans des outils de dataviz ou des applis
3.3.5.2. OBJ15 - Monitoring des différentes métriques du modèle
3.3.5.3. OBJ16 - Exploration via un IDE branché sur les données de Prod qui embarque des langages de programmation distribués.
3.3.6. Conformité
3.3.6.1. OBJ5 - Etre conforme sécurité et RGPD-
3.3.6.2. OBJ07 - Suivre l'activité d'ingestion et la mise à jour des données, avec des statistiques (streaming inclu)
3.3.6.3. OBJ11 - Gouvernance et monitoring du Datalake et dyu respect de la politique de gouvernance (usage, droits et accès)
3.3.6.4. OBJ09 - Avoir une documentation avec les règles d'usage du datalake (inclus les démarches pour donner les accès)
3.3.6.5. OBJ08 - Référencer les données ingérées et générées
3.3.6.6. OBJ18 - décommissionnent Safergame
3.3.6.7. Avoir un outil adapté aux méthodes des équipes projets utilisant le DL
4. Fiches synthétiques UC
4.1. Données
4.1.1. sources
4.1.2. Mise a dispo
4.2. Impact trajectoire
4.3. Next steps
4.4. Objectifs
5. Vision Release
5.1. UC
5.2. Données
5.3. Evol fonctionnelles
5.4. Conformités
6. Orga
6.1. Definitions EPIC
6.2. Reorga JIRA
6.3. Procedure Achat
6.3.1. Commandes
6.3.2. Reception SAPA
6.3.3. Saisie SAPA
6.4. Comité Roadmap
6.4.1. FL
6.4.2. Mise a jour reporting