白板推导

笔记
统计学习jupyter参考1
正态分布（Normal distribution），也称“常态分布”，又名高斯分布（Gaussian distribution）

P15

点积内积的区分特别是点积=矩阵积【往往带有转置】的转换
w的转置对w求导并不是1这个在工程矩阵里也有涉及

P19

判别式模型和生成式模型
MLE和MAP：最大似然估计和最大后验估计

P21

朴素贝叶斯就朴素在这个假设。P(x1,x2|y)=P(x1|y)P(x2|y);因此可以得到7分钟那个最下面的式子
Categorical Distribution
将一个小球放入两个桶，记变量x 为第一个桶里面有的小球个数，那么只有 0 个或者 1 个，所以是服从伯努利分布；
将 n 个小球放入两个桶，记变量 x 为第一个桶里面的小球个数，那么最少可能有 0 个，最多可能有 n 个，所以服从二项分布；
将一个小球放入 k 个桶，记变量 x 为 k 个桶内的小球个数，所以是一个向量，并且是One-hot的形式，因为这个小球只能在一个桶里面，所以是服从Categorical分布；
将 n 个小球放入 k 个桶，记变量 x 为 k 个桶内的小球个数，是一个向量，并且向量元素的和为 n，所以是服从多项分布。
one-hot

P22

统计学习：变量选择之Lasso降维
L1正则化应用于线性回归的损失函数时，它被称为Lasso回归，因此Lasso回归也相当于正则化，通常用L2参考。