びぼーろぐ

備忘録としての勉強のログです。淡々と学んだことをログって行くので、雑な記事が多いです。

2018-12-29から1日間の記事一覧

Do Deep Nets Really Need to be Deep?

arxiv.org 2014 一言でいうと 浅いネットで深いネットをmimic learning(ものまね学習)することで、モデル圧縮をする。 この論文のすごいところ 教師モデルを使って浅くても優秀な生徒モデルを作ることができることを示した 感想 優れた教師で学習させたら…

Model Compression

https://www.cs.cornell.edu/~caruana/compression.kdd06.pdf 2006/8 正直よくわからなかった(汗) 参考にならないかも... 一言でいうと モデル圧縮を行って、複雑なアンサンブルモデルを少ない性能劣化で小さく、高速なモデルにする。 この論文のすごいと…