E資格
E資格のシラバスをMindMapにしました。 学んだことを紐づけるのに使ってください！ ※参考 E資格の試験出題範囲（シラバス）E2022#2〜 https://www.jdla.org/download/e-syllabus_2022/
1. 1. 応用数学
1.1. (1)確率・統計
1.1.1. ①一般的な確率分布
1.1.1.1. ベルヌーイ分布
1.1.1.2. 多項分布
1.1.1.3. ガウス分布
1.1.2. ②ベイズ則
1.2. (2)情報理論
1.2.1. ①情報量
2. 2. 機械学習
2.1. (1)機械学習の基礎
2.1.1. ①学習アルゴリズム
2.1.1.1. 教師あり学習
2.1.1.2. 教師なし学習
2.1.1.3. 半教師あり学習
2.1.1.4. 転移学習
2.1.2. ②機械学習課題
2.1.2.1. 能力、過剰適合、過少適合
2.1.3. ③ハイパーパラメーター
2.1.4. ④検証集合
2.1.4.1. 学習データ、検証データ、テストデータ
2.1.4.2. ホールドアウト法
2.1.4.3. k-分割交差検証法
2.1.5. ⑤最尤推定
2.1.5.1. 条件付き対数尤度と平均二乗誤差
2.2. (2)実用的な方法論
2.2.1. ①性能評価
2.2.2. ②ハイパーパラメータの選択
2.2.2.1. 手動でのハイパーパラメータ調整
2.2.2.2. グリッドサーチ
2.2.2.3. ランダムサーチ
2.2.2.4. モデルに基づくハイパーパラメータの最適化
2.3. (3)強化学習
2.3.1. ①方策勾配法
2.3.2. ②価値反復法
3. 3. 深層学習
3.1. (1)順伝播型ネットワーク
3.1.1. ①全結合型ニューラルネットワーク
3.1.2. ②損失関数
3.1.2.1. 最尤推定による条件付き分布の学習
3.1.3. ③活性化関数
3.1.3.1. シグモイド関数
3.1.3.2. Softmax関数
3.1.3.3. ReLU Leaky ReLU
3.1.3.4. tanh
3.1.4. ④誤差逆伝播法及びその他の微分アルゴリズム
3.1.4.1. 計算グラフ
3.1.4.2. 微分積分の連鎖率
3.1.4.3. 誤差逆伝播のための連鎖率の再帰的な適用
3.1.4.4. シンボル間の微分
3.1.4.5. 一般的な誤差逆伝播法
3.2. (2)深層モデルのための正則化
3.2.1. ①パラメータノルムペナルティ
3.2.1.1. L2パラメータ正則化
3.2.1.2. L１正則化
3.2.2. ②データ集合の拡張
3.2.2.1. Random Flip Erase Crop Contrast Brightness Rotate MixUp
3.2.3. ③ノイズに対する頑健性
3.2.4. ④マルチタスク学習
3.2.5. ⑤早期終了
3.2.6. ⑥スパース表現
3.2.7. ⑦バギングやその他のアンサンブル手法
3.2.8. ⑧ドロップアウト
3.3. (3)深層モデルのための最適化
3.3.1. ①学習と純粋な最適化の際
3.3.1.1. バッチアルゴリズムとミニバッチアルゴリズム
3.3.2. ②基本的なアルゴリズム
3.3.2.1. 確率勾配降下法
3.3.2.2. モメンタム
3.3.3. ③パラメータの初期化戦略
3.3.4. ④適応的な学習率を持つアルゴリズム
3.3.4.1. AdaGrad
3.3.4.2. RMSrop
3.3.4.3. Adam
3.3.5. ⑤最適化戦略とメタアルゴリズム
3.3.5.1. バッチ正規化
3.3.5.2. Layer正規化
3.3.5.3. Instance正規化
3.3.5.4. 教師あり事前学習
3.4. (4)畳み込みネットワーク
3.4.1. ①畳み込み処理
3.4.2. ②プーリング
3.5. (5)回帰結合型ニューラルネットワークと再帰的ネットワーク
3.5.1. ①回帰結合型のニューラルネットワーク
3.5.2. ②双方向 RNN
3.5.3. ③Encoder-Docoder と Sequence-toSequence
3.5.4. ④長期依存性の課題
3.5.5. ⑤ゲート付きRNN
3.5.5.1. LSTM
3.5.5.2. GRU
3.5.6. ⑥長期依存性の最適化
3.5.7. ⑦Attention
3.6. (6)生成モデル
3.6.1. ①識別モデルと生成モデル
3.6.2. ②オートエンコーダ
3.6.2.1. VAE
3.6.2.2. VQ-VAE
3.6.3. ③GAN
3.6.3.1. DCGAN
3.6.3.2. Conditional GAN
3.7. (7)深層強化学習
3.7.1. ①深層強化学習のモデル
3.7.1.1. AlphaGo
3.7.1.2. A3C
3.8. (8)グラフニューラルネットワーク
3.8.1. ①グラフ折りたたみ
3.9. (9)深層学習の適用方法
3.9.1. ①画像認識
3.9.1.1. GoogLeNet
3.9.1.2. ResNet, WideResNet
3.9.1.3. DenseNet
3.9.1.4. EfficientNet
3.9.2. ②画像の局在化・検知・セグメンテーション
3.9.2.1. FasterR-CNN
3.9.2.2. YOLO
3.9.2.3. SSD
3.9.2.4. MaskR-CNN
3.9.2.5. FCOS
3.9.3. ③自然言語処理
3.9.3.1. WordEmbedding
3.9.3.2. Transformer
3.9.3.3. BERT
3.9.3.4. GPT-n
3.9.4. ④音声処理
3.9.4.1. WaveNet
3.9.4.2. サンプリング、短時間フーリエ変換、メル尺度
3.9.4.3. CTC
3.9.5. ⑤スタイル変換
3.9.5.1. pix2pix
3.10. (10)距離学習 (Metric Learning)
3.10.1. ①2サンプルによる比較
3.10.1.1. SiameseNet
3.10.2. ②3サンプルによる比較
3.10.2.1. TripletLoss
3.11. (11)メタ学習 (Meta Learning)
3.11.1. ①初期値の獲得
3.11.1.1. MAML
3.12. (12)深層学習の説明性
3.12.1. ①判定根拠の可視化
3.12.1.1. Grad-NAM
3.12.2. ②モデルの近似
3.12.2.1. LIME
3.12.2.2. SHAP
4. 4. 開発・運用環境
4.1. (1)ミドルウェア
4.1.1. ①深層学習ライブラリ
4.2. (2) エッジコンピューティング
4.2.1. ①軽量なモデル
4.2.1.1. MobileNet
4.2.2. ②モデルの軽量化
4.2.2.1. プルーニング
4.2.2.2. 蒸留
4.2.2.3. 量子化
4.3. (3)分散処理
4.3.1. ①モデル並列
4.3.2. ②データ並列
4.4. (4)アクセラレータ
4.4.1. ①デバイスによる高速化
4.4.1.1. GPU
4.5. (5)環境構築
4.5.1. ①コンテナ型仮想化
4.5.1.1. Docker