びぼーろぐ

備忘録としての勉強のログです。淡々と学んだことをログって行くので、雑な記事が多いです。

量子化

BinaryConnet: Training Deep Neural Networks with binary weights during propagations

arxiv.org 2015 BinaryConnectの筆者らの実装 github.com ベロンベロンで書いているので日本語になってないかも 一言でいうと 学習の順伝搬及び逆伝搬で重みを2値化(-1, 1)して、精度を維持しながらDNNの容量及び計算を少なくする。このBinaryConnectは正則…

Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding

arxiv.org 2016 一言で言うと Deep compressionを使って,精度劣化なしに35倍から49倍NNの必要ストレージを削減する. Deep compressionは以下の3つのパイプラインステージから成る 枝刈り(学習フェーズで必要な(重要な)接続だけを学習 ) 量子化(あと重…