2019-01-01から1年間の記事一覧
arxiv.org 2015 BinaryConnectの筆者らの実装 github.com ベロンベロンで書いているので日本語になってないかも 一言でいうと 学習の順伝搬及び逆伝搬で重みを２値化(-1, 1)して、精度を維持しながらDNNの容量及び計算を少なくする。このBinaryConnectは正則…
arxiv.org 2016 一言で言うと Deep compressionを使って，精度劣化なしに35倍から49倍NNの必要ストレージを削減する． Deep compressionは以下の3つのパイプラインステージから成る 枝刈り（学習フェーズで必要な（重要な）接続だけを学習 ） 量子化（あと重…
arxiv.org 2017 LeapMindさんの論文です。 一言で言うと 学習済みTensorFLowモデルの自動フローをbinarized CNNのFPGA SoC実装に移植する。このフローは、パラメータとアクティベーション（おそらく、中間レイヤーに対する入力値）の量子化と、（binary CNN…
arxiv.org 2014/12 一言でいうと knowledge distillationの拡張。今回の生徒モデルは教師モデルよりも深くて細長いモデル。教師モデルの出力だけを使うのではなく、中間特徴も生徒モデルの最終結果（出力層の結果）を改善させるために、ヒントとして利用する…
https://papers.nips.cc/paper/6676-learning-efficient-object-detection-models-with-knowledge-distillation.pdf 2017 一言でいうと knowledge distillationとhint learningを使った物体検出モデルの圧縮 新規性・差分 knowledge distillationは単純な分…
