Раскройте весь потенциал своих проектов.
Попробуйте MeisterTask бесплатно.
Нет аккаунта?
Бесплатно
Просматривать
Избранные Карты
Категории
Управление проектом
Бизнес и цели
Человеческие ресурсы
Мозговой штурм и анализ
Маркетинг и контент
Образование и заметки
Развлечения
Жизнь
Технологии
Дизайн
Резюме
Другое
Язык
English
Deutsch
Français
Español
Português
Nederlands
Dansk
Русский
日本語
Italiano
简体中文
한국어
Другое
Показать всю карту
Копировать/изменить
Копировать
2015 Distilling the Knowledge in a Neural Network
YY
Yang Yang
Отслеживать
Начать.
Это бесплатно
Войти через Google
или
регистрация
c помощью Вашего email-адреса
Похожие Интеллект-Карты
План Интеллект-Карты
2015 Distilling the Knowledge in a Neural Network
создатель
Yang Yang
1. Abstract
1.1. 提高所有机器学习算法性能的一种非常简单的方法就是在相同的数据上训练许多不同的模型,然后对它们的预测进行平均。但是预测成本高且很麻烦。作者引入一种将集成模型的知识蒸馏在单一的模型中的方法取得了不错的效果
2. Introduction
2.1. 在大规模机器学习中,人们通常在训练和推理阶段使用相似的模型,尽管这两个阶段的要求非常不同。如果可以从繁琐的数据中提取结构,那么我们就愿意训练大模型了。蒸馏就是将繁琐的模型转移到更适合部署的小模型。
3. 名词解释
3.1. teacher - 原始模型或模型ensemble (combersum model) student - 新模型 transfer set - 用来迁移teacher知识、训练student的数据集合 soft target - teacher输出的预测结果(一般是softmax之后的概率) hard target - 样本原本的标签 temperature - 蒸馏目标函数中的超参数 born-again network - 蒸馏的一种,指student和teacher的结构和尺寸完全一样 teacher annealing - 防止student的表现被teacher限制,在蒸馏时逐渐减少soft targets的权重
Начать. бесплатно!
Связать с Google
или
Регистрация