Réseaux de neurones pré-entraînés appliqués aux séries temporelles dans le domaine de l'énergie

1. Passer par l'apprentissage de représentation semi-supervisée

1.1. Apprentissage d'une représentation pour une tâche précise

2. Méthode d'évaluation de la "faisabilité d'un transfert"

2.1. Par exemple calcul de la distance entre P(YlX) et P(Y'lX') dans le cadre supervisé ou P(X) et P(X') dans le cadre non supervisée

2.1.1. Distance classique ? KL? Jensen? Distance de Wassertein?

3. Prendre en compte deux aspects dans le développement des modèles/méthodes : - La reproductibilité des résultats pour pouvoir publier - Des méthodes adaptées avec des cas d'usages intéressants côté EDF

4. Prendre en compte la difficulté des données multi-variés (TS + variables indépendantes du temps)

5. Constructions de grosses architectures transférables (modèles end to end)

5.1. Pour quel type de problèmes ?

5.1.1. Classification

5.1.2. Régression

5.2. Quelles architectures utiliser ? :

5.2.1. RNN

5.2.2. CNN

5.2.2.1. TCN (avec dilatation comme WaveNet)

5.2.2.2. ResNet

5.2.2.3. Quels types de filtres ? Conv1D, 2D ... ?, Comment rentrer les données? Indépendant de la longueur

5.2.3. Attention

5.3. Comment automatiser le transfert ? Un problème d'optimisation !

5.3.1. Recherche des hyperparamètres

5.3.2. Recherche de l'architecture optimale

6. Passer par l'apprentissage de représentation non supervisée

6.1. Pour quels types de problèmes ?

6.1.1. Classification sur représentation

6.1.2. Visualisation

6.1.3. Clustering

6.1.4. Détection de cas "anormaux"

6.1.5. Réduction de dimension

6.2. Quels types de modèles?

6.2.1. Les modèles de graphes probabilistes orientés

6.2.1.1. VAE, Beta VAE, Hierarchical VAE etc.

6.2.2. Les modèles de graphes probabilités non orientés

6.2.2.1. les machines de Boltzmann restreintes

6.2.3. Les modèles computationnelles utilisant des réseaux de neurones

6.2.3.1. Plusieurs types d'autoencoder

6.2.3.2. Encoder only

6.2.4. Les modèles génératifs

6.2.4.1. GANs

6.2.5. Manifold Learning

6.3. Quels sont les objectifs et les intérêts du representation learning

6.3.1. Construction d'une représentation démêlée

6.3.2. Construction d'une représentation interprétable?

6.3.3. Extraction de de l'information sous-jacente importante et mise en forme de cette information

6.3.4. Peut faciliter le transfert dans le cadre d'un problème supervisé (en partant de la représentation)

6.3.5. L'apprentissage de représentation peut aussi se transférer!