いかにして論文を読むか そもそも僕は論文をまとめる以前に読むのに非常に多くの時間を使ってしまうという大きな問題があります。 論文の読み方云々もそうですが、書物の読み方として大きく2つ 精読 速読 という方法があります。 論文に対する精読・速読との…

arxiv.org 2014 一言でいうと 浅いネットで深いネットをmimic learning（ものまね学習）することで、モデル圧縮をする。 この論文のすごいところ 教師モデルを使って浅くても優秀な生徒モデルを作ることができることを示した 感想 優れた教師で学習させたら…

https://www.cs.cornell.edu/~caruana/compression.kdd06.pdf 2006/8 正直よくわからなかった（汗） 参考にならないかも... 一言でいうと モデル圧縮を行って、複雑なアンサンブルモデルを少ない性能劣化で小さく、高速なモデルにする。 この論文のすごいと…

arxiv.org 2015/3 今回は初のモデル圧縮論文読みということで、詳しめに書きます。 一言で言うと Knowledge Distillationという蒸留を利用したモデル圧縮 この論文のすごいところ アンサンブルモデルを（一つの）蒸留モデルに転移させたら、同等のネットワー…

クリぼっちだったので、ブログ始めました。 よろしくおねがいします。