蒸留
arxiv.org 2014/12 一言でいうと knowledge distillationの拡張。今回の生徒モデルは教師モデルよりも深くて細長いモデル。教師モデルの出力だけを使うのではなく、中間特徴も生徒モデルの最終結果（出力層の結果）を改善させるために、ヒントとして利用する…
https://papers.nips.cc/paper/6676-learning-efficient-object-detection-models-with-knowledge-distillation.pdf 2017 一言でいうと knowledge distillationとhint learningを使った物体検出モデルの圧縮 新規性・差分 knowledge distillationは単純な分…
arxiv.org 2015/3 今回は初のモデル圧縮論文読みということで、詳しめに書きます。 一言で言うと Knowledge Distillationという蒸留を利用したモデル圧縮 この論文のすごいところ アンサンブルモデルを（一つの）蒸留モデルに転移させたら、同等のネットワー…
