確率・統計
僕としては情報系の話への応用がとても好きだ。
確率の基礎
平均・分散・共分散
線形回帰分析・最小二乗法とは 共分散・相関係数の意味
不等式
Chernoffの不等式 (Chernoff bound) の導出
情報理論
情報量とエントロピー - 導出と性質
相対エントロピー (Kullback-Leibler divergence) と シャノンの補助定理