転移セットとソフトターゲットのlogit（Softmax前の値）でクロスエントロピー
$$\frac { \partial C } { \partial z _ { i } } = \frac { 1 } { T } \left( q _ { i } - p _ { i } \right) = \frac { 1 } { T } \left( \frac { e ^ { z _ { i } / T } } { \sum _ { j } e ^ { z _ { j } / T } } - \frac { e ^ { v _ { i } / T } } { \sum _ { j } e ^ { v _ { j } / T } } \right)$$
Tはsoftmaxの温度（強度？）で、この値がlogitよりも大きかったら
$$\frac { \partial C } { \partial z _ { i } } \approx \frac { 1 } { T } \left( \frac { 1 + z _ { i } / T } { N + \sum _ { j } z _ { j } / T } - \frac { 1 + v _ { i } / T } { N + \sum _ { j } v _ { j } / T } \right)$$
が成り立つ。
それぞれのlogitがゼロ平均化（平均が0になるようにベクトルを変換）されると
と が0になるので
$$\frac { \partial C } { \partial z _ { i } } \approx \frac { 1 } { N T ^ { 2 } } \left( z _ { i } - v _ { i } \right)$$
とできる。
つまりは、
・高い温度Tで設定しておくと
蒸留は個々の転移サンプルがゼロ平均化されてるとき、$$1 / 2 \left( z _ { i } - v _ { i } \right) ^ { 2 }$$を最小化することを目指すことと等価になる。
・低い温度のときは、
平均よりもかなり低いマッチングロジットに対しては注意を払わなくなる。
これらのロジットはcumbersomeモデル（もともとの大きめのモデル）の学習に使われたコスト関数に全く制約を受けないので、とてもノイジー？（いろいろな情報が入ってるってこと？）になりうるとのこと。
どうやら温度Tを高温にすると、出力確率を緩やかにすることができるらしい。
確かに、指数関数は根本付近に近づくと、緩やかになることが想像できる。
一方、負のロジットはcumbersomeモデルから取得された知識について有益な情報を伝える可能性がある
Step 2: 混同しやすいクラスのサブセット（から出ないkのインターセクションとスペシャリストのアクティベートセット）を持つスペシャリストモデルを使う。この式：$$K L \left( \mathbf { p } ^ { g } , \mathbf { q } \right) + \sum _ { m \in A _ { k } } K L \left( \mathbf { p } ^ { m } , \mathbf { q } \right)$$
を最小化する確率分布qを見つける
スペシャリストモデルがカバーする正解クラス数が増えると性能が上がっていく
=時刻tの観測値を
にマッピングする音響モデルPのパラメータ。
が正解のHMMの状態。
）を持つスペシャリストモデルを使う。この式：$$K L \left( \mathbf { p } ^ { g } , \mathbf { q } \right) + \sum _ { m \in A _ { k } } K L \left( \mathbf { p } ^ { m } , \mathbf { q } \right)$$ を最小化する確率分布qを見つける
