1. ①機械学習自体の品質保証
1.1. 機械学習における公平性の問題
1.1.1. 機械学習における公平性・説明責任・透明性（FAT）
1.1.2. 公平性配慮型データマイニング
1.2. 技術シーズ
1.2.1. ニューロンカバレッジ
1.2.1.1. ニューラルネットワーク内の活性化範囲を調べ、それを拡げるようなテストパターンを生成
1.2.2. サーチベースドテスティング
1.2.2.1. メタヒューリスティックを用いて 欲しいテストケースを表すスコアを 最大化するようテストケースを生成する手法
1.2.3. メタモルフィックテスティング
1.2.3.1. 入力を変えると出力はこう変わるはずという関係を検証し 既存テストケースから多数のテストケースを生成する手法
1.2.4. データセット多様性
2. ④問題を効率よく解く工学的な枠組み
2.1. 記号推論などとの組み合わせなど、新しいアーキテクチャを作り出す
2.2. この技術は、機械学習の安全保障やブラックボックスの問題と重なる
2.3. ただし、安全保障、解釈性の問題にとどまらない効果がある
3. ③ブラックボックス問題への対策
3.1. AIにおける「ブラックボックス」は 中身が見えない・分からないではなく、 どうしてその中身になったかが分からないという意味
3.2. 技術シーズ
3.2.1. 「説明可能なAI」（eXplainable Artificial Intelligence：XAI）
3.2.1.1. DARPAプロジェクト
3.2.1.2. Deep Explanation
3.2.1.2.1. 深層学習の状態解析によるアテンションヒートマップや自然言語説明生成等
3.2.1.2.2. 特に深層学習を用いた画像認識システムにおいて、盛んに取り組まれている
3.2.1.2.3. 例：認識結果を出した根拠として、画像中のどの部分に着目したのかを示す アテンションヒートマップを示すといった方法
3.2.1.3. Interpretable Models
3.2.1.3.1. もともと解釈性の高いモデルを用いた機械学習（ホワイトボックス型の機械学習の精度を向上させる）
3.2.1.3.2. 異種混合学習
3.2.1.3.3. 深層学習DeepTensorにナレッジグラフを組み合わせた ModelInductionのアプローチによる取り組み
3.2.1.4. Model Induction
3.2.1.4.1. ブラックボックス型の機械学習の振る舞いを近似する解釈性の高いモデルを外付けで作る
4. ②全体システムとしての安全性確保
4.1. 有効な考え方
4.1.1. 機械学習型の入力・出力をモニタリングして、例外処理やリカバリー処理・多重化等を組み込む
4.1.2. 機械学習型コンポーネントが100%保証はできないことを想定した全体システム設計
4.2. 技術シーズ
4.2.1. Safe Learning
4.2.1.1. 機械学習による判断に、従来法による安全性保証を組み合わせる考え方
4.2.1.1.1. JST ERATO MMSD(メタ数理研究、蓮尾さんの研究)
4.2.2. 機械学習も1つのコンポーネントとして扱い、 コンポーネント間の相互作用から安全性分析・ハザード解析手法
4.2.2.1. FRAM（Functional Resonance Analysis Method）
4.2.2.2. FRAM（Functional Resonance Analysis Method）
4.2.3. Assured Autonomy
4.2.3.1. DARPAにて投資されている (https://www.darpa.mil/news-events/2017-08-16)
4.2.3.2. 自動運転車やドローン等の自律システムの安全性保証をターゲットとして、 実行時の入出力をモニタリングし、想定された振る舞いから外れたときに、 それを検知して動作を止める等の対策アクション（事前に設計しておいたもの）を起動するような枠組み
4.2.3.2.1. 形式手法的なもので入力に対するアウトプットを定義 アウトプットが想定外だったら動作を止めるというようなもの？
4.2.4. 希少事象発見技術
4.2.4.1. NEC－産総研人工知能連携研究室から発表
4.2.4.2. まれにしか発生しない不具合・高リスクの条件を、 シミュレーションと機械学習を組み合わせることで、 短時間で見つけることができ、効率の良い不具合の発見・修正を可能にする
5. 機械学習の品質保証などの工学手法は、2017年頃にようやく立ち上がり始めた
5.1. MLSEが2018年発足
5.2. QA4AIも2018年4月
5.3. 海外ではSoftware 2.0、Machine testingと呼ばれている
6. 概要
6.1. DLはじめ人工知能技術が人気
6.2. 開発パラダイムが違いすぎる
6.3. 人材育成や開発手法の整備が急務
6.4. 「AI ソフトウェア工学」の確立を目指す
6.4.1. AIソフトウェア工学はSoftware 2.0、機械学習工学などと類似の言葉
6.4.2. AI ソフトウェア工学の目標
6.4.2.1. AI ソフトウェア工学の体系化
6.4.2.2. 基礎研究として重要な技術チャレンジ
6.4.2.2.1. ①機械学習自体の品質保証
6.4.2.2.2. ②全体システムとしての安全性確保
6.4.2.2.3. ④問題を効率よく解く工学的な枠組み
6.4.2.2.4. 機械学習自体の技術課題とシステム全体にかかわる課題の2点がある