モデル圧縮
arxiv.org 2015 BinaryConnectの筆者らの実装 github.com ベロンベロンで書いているので日本語になってないかも 一言でいうと 学習の順伝搬及び逆伝搬で重みを２値化(-1, 1)して、精度を維持しながらDNNの容量及び計算を少なくする。このBinaryConnectは正則…
arxiv.org 2016 一言で言うと Deep compressionを使って，精度劣化なしに35倍から49倍NNの必要ストレージを削減する． Deep compressionは以下の3つのパイプラインステージから成る 枝刈り（学習フェーズで必要な（重要な）接続だけを学習 ） 量子化（あと重…
arxiv.org 2017 LeapMindさんの論文です。 一言で言うと 学習済みTensorFLowモデルの自動フローをbinarized CNNのFPGA SoC実装に移植する。このフローは、パラメータとアクティベーション（おそらく、中間レイヤーに対する入力値）の量子化と、（binary CNN…
arxiv.org 2014/12 一言でいうと knowledge distillationの拡張。今回の生徒モデルは教師モデルよりも深くて細長いモデル。教師モデルの出力だけを使うのではなく、中間特徴も生徒モデルの最終結果（出力層の結果）を改善させるために、ヒントとして利用する…
https://papers.nips.cc/paper/6676-learning-efficient-object-detection-models-with-knowledge-distillation.pdf 2017 一言でいうと knowledge distillationとhint learningを使った物体検出モデルの圧縮 新規性・差分 knowledge distillationは単純な分…
arxiv.org 2014 一言でいうと 浅いネットで深いネットをmimic learning（ものまね学習）することで、モデル圧縮をする。 この論文のすごいところ 教師モデルを使って浅くても優秀な生徒モデルを作ることができることを示した 感想 優れた教師で学習させたら…
https://www.cs.cornell.edu/~caruana/compression.kdd06.pdf 2006/8 正直よくわからなかった（汗） 参考にならないかも... 一言でいうと モデル圧縮を行って、複雑なアンサンブルモデルを少ない性能劣化で小さく、高速なモデルにする。 この論文のすごいと…
arxiv.org 2015/3 今回は初のモデル圧縮論文読みということで、詳しめに書きます。 一言で言うと Knowledge Distillationという蒸留を利用したモデル圧縮 この論文のすごいところ アンサンブルモデルを（一つの）蒸留モデルに転移させたら、同等のネットワー…
