机器学习知识体系

数学基础

概率统计

• 频率学派与贝叶斯学派

频率学派亦称古典概型，是使用随机事件的发生的频率描写叙述概率的方法。在贝叶斯学派的观点下概率表示的是事件的不确定性大小，参数被预设为概率分布。在频率学观点中，参数被当做是一个需要我们求的确定的參数。而在贝叶斯观点中，參数的情况来自于一个预设的分布而不是一个确定的值。贝叶斯观点的优势在于在模型中引入参数的先验知识。比如在抛硬币的试验中。假设抛三次硬币出现了三次都是正面。那么依据频率学的观点，使用最大似然进行预计那么得到出现正面的可能性为1。这就是说以后都是以1的概率出现正面。相反在贝叶斯的理论中，引入一个合理的先验将会避免这样极端的结论。

• 随机变量

随机变量（random variable）表示随机试验各种结果的实值单值函数，体现了随机试验与唯一实值的映射关系，并且随机事件不论与数量是否直接有关，都可以数量化，即都能用数量化的方式表达随机试验的发生。

• 分布

统计分布(frequency distribution)亦称“次数(频数)分布(分配)”。在统计分组的基础上，将总体中的所有单位按组归类整理，形成总体单位在各组间的分布。分布在各组中的单位数叫做次数或频数。各组次数与总次数(全部总体单位数)之比，称为比率或频率。将各组别与次数依次编排而成的数列就叫做统计分布数列，简称分布数列或分配数列。它可以反映总体中所有单位在各组间的分布状态和分布特征，研究这种分布特征是统计分析的一项重要内容。

• 概率分布

概率分布，是指用于表述随机变量取值的概率规律。事件的概率表示了一次试验中某一个结果发生的可能性大小。若要全面了解试验，则必须知道试验的全部可能结果及各种可能结果发生的概率，即随机试验的概率分布。如果试验结果用变量X的取值来表示，则随机试验的概率分布就是随机变量的概率分布，即随机变量的可能取值及取得对应值的概率。通过概率分布我们可以得到概率密度函数，根据随机变量所属类型的不同，概率分布取不同的表现形式。

• 累积分布函数

累积分布函数(Cumulative Distribution Function)，又叫分布函数，是概率密度函数的积分，能完整描述一个实随机变量X，随着变量的增大函数值也增大。一般以大写CDF标记,，与概率密度函数probability density function（小写pdf）相对。

• 独立

如果一个事件的发生不影响另一个事件的概率，则两个事件是独立的，统计独立的或随机独立的。有如下公式： p(x,y)=p(x)∗p(y)

• 条件分布

对于二维随机变量(X，Y)，可以考虑在其中一个随机变量取得(可能的)固定值的条件下，另一随机变量的概率分布，这样得到的X或Y的概率分布叫做条件概率分布，简称条件分布。 P(A|B)=P(AB)/P(B)

• 贝叶斯准则

贝叶斯准则的一般形式与条件分布类似 P(A|B)=P(AB)/P(B) ，其中展开形式如下:P(B)=∑P(B|Aj)P(Aj)

P(A_j|B)=P(B|A_j)P(A_j)/∑P(B|A_j)P(A_j)

损失函数

• 损失函数概念

损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。另一方面也存在最大化目标函数的方法，如极大似然估计，一般而言可通过在最大化目标函数前面添加负号的方法转化成求最小化损失函数。 损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项,这里仅介绍经验风险损失函数，没有正则项。

• 回归问题损失函数
• 绝对值损失函数

绝对值损失函数将真实值与预测值的差的绝对值作为损失的度量： L(Y,f(X))=|Y−f(X)| 其中 Y,X 为单个样本的标签值与特征向量，该公式只计算了单个样本的损失。

• 平方损失函数(Squared Loss)

平方损失函数又称均方误差，即真实值与预测值之差的平方和的均值。通常用于回归问题以及线性模型中，之所以采用平方的形式，而非绝对值或三次方的形式，是因为极大似然与最小化平方损失是等价的。具体公式如下：其中 y_i 是第i个样本的标签值， f(x_i)是第i个样本的预测值。

• 分类问题损失函数
• 对数损失函数(Log Loss)

对数函数，在最优化含有乘积的目标函数中（如极大似然函数），由于其单调性能够，能够在保证结果不变的情况下通过取对数的方法转化为求和的形式，从而大大简化目标函数的求解过程。进一步地，通过在对数函数前添加负号，就变成了求解最小化对数损失函数。对数损失函数标准形式如下：其中 P(Y|X） 为小于1的概率值，逻辑回归作为一种0-1二分类算法，其损失函数为对数损失函数：其中 y_i 是第i个样本的真实值， f(x_i)f(x_i) 是第i个样本的概率预测值。

• 交叉熵损失函数(Cross Entropy Loss)

对于多分类问题，softmax函数往往与交叉熵损失函数一起使用,其形式如下：其中 y_i 是第i个样本真实标签的one-hot向量，真实类别对应的维度是1，其余维度为0， f(x_i) 是第i个样本经过softmax函数转化后的概率值向量。逻辑回归的损失函数也是二分类情况下的交叉熵损失函数。

• 其他损失函数
• 0-1损失函数

0-1损失是指，预测值和目标值不相等为1，否则为0： 感知机使用放宽条件下的0-1损失函数，即满足 |Y−f(X)|<T|Y−f(X)|<T 时认为相等: 其中 Y,X 为单个样本的标签值与特征向量，该公式只计算了单个样本的损失。

• 指数损失(Exponential Loss)

指数函数具有单调性，非负性的优良性质，使得越接近正确结果误差越小，Adaboost算法就是使用的指数损失函数。但是指数损失存在的一个问题是误分类样本的权重会指数上升，如果数据样本是异常点，会极大的干扰后面基本分类器学习效果，这也是Adaboost算法的一个缺点。其标准指数损失函数公式如下：

• 铰链损失函数(Hinge Loss)

铰链损失函数，又称折页损失函数、合页损失函数，常用于支持向量机(SVM)中的最大间隔分类。其基本思想是，想让正确分类的得分比错误分类的得分至少高出一个临界值并且其损失为0，否则计算损失，其基本形式如下： 其中n为样本数，K为类别数，p为临界值，s_i是第i个样本真实类别的得分， s_ik 是第i个样本错误类别的得分。在支持向量机中，hinge损失函数转化为如下结构化损失形式： 其中 y_i 是第i个样本的真实值，取值范围为(-1,1), f(x_i)f(x_i) 是第i个样本的预测值，可以认为是该样本到分隔线的距离，临界值为1。只有当样本被正确分类，且距离大于1时，损失为0,，否则就要计算损失。