逻辑斯蒂回归、朴素贝叶斯
-
逻辑斯蒂回归
-
逻辑斯蒂分布(增长分布):F(X) = P(X<=x) = 1/(1+e^(-(X-u)/γ))
该分布曲线以(u,1/2)作为中心对称点 -
sigmod函数(亦称作Logistic函数)
作用:将一个实数映射到(0,1)区间
函数表达:s(X) = 1/(1+e^(-x)); 性质:当X趋近正无穷时,取值为1;当X趋近于负无穷时,取值为0;
sigmod函数被用作激活函数:
什么是激活函数?
使用激活函数将非线性的特性引入到网络模型中; -
二项逻辑斯蒂回归思想:
用线性回归的输出作为sigmod函数的输入,将其映射到(0,1)之间,可以视作概率,比较概率大小得出结果; -
损失函数
logistic回归无法使用线性回归的均方误差来定义损失函数,因为它为二分类问题,我们可以得出它的概率分布函数,然后通过似然函数求解最优参数;为了方便计算,我们采用对数似然函数进行求导求解最优参数;
计算二元逻辑回归损失函数的优化方式:
梯度下降法;
牛顿法;
-
-
朴素贝叶斯
朴素贝叶斯的思想:利用训练数据得出变量的联合概率分布,然后求出最大后验概率分布得出分类结果;
1)联合概率分布 P(X,Y) = P(Y)*P(X|Y)
2) 利用朴素贝叶斯需要前提假定,即条件独立性;例如P(X=x1,X=x2|Y) = P(X=x1|Y)*P(X=x2|Y)
3) 计算后验概率分布 P(Y|X) = P(X,Y)/P(X) 分子为联合概率分布,分母为X的边际分布(也可运用全概率公式)
当输入X特征时,可以得到属于Y类别的概率我们可以采用最大化后验概率得到分类结果;因为针对所有分类P(X)相同,我们只需最大化分子来代替;
argmax(P(X,Y)) = argmax(P(Y)*P(X|Y)) 该结果返回分类结果作为f(X)特殊:再选用0-1函数作为损失函数条件下,损失函数定义为: 1 if 预测类别=真实类别 else 0;
一个特征向量的输入可能会输出多种分类结果,这里采用期望风险最小化;(再该条件下,期望风险最小化等价于后验概率最大化)
即输入特定X特征向量然后输出结果与真实结果的损失的期望
逻辑斯蒂回归、朴素贝叶斯
-
逻辑斯蒂回归
-
逻辑斯蒂分布(增长分布):F(X) = P(X<=x) = 1/(1+e^(-(X-u)/γ))
该分布曲线以(u,1/2)作为中心对称点 -
sigmod函数(亦称作Logistic函数)
作用:将一个实数映射到(0,1)区间
函数表达:s(X) = 1/(1+e^(-x)); 性质:当X趋近正无穷时,取值为1;当X趋近于负无穷时,取值为0;
sigmod函数被用作激活函数:
什么是激活函数?
使用激活函数将非线性的特性引入到网络模型中; -
二项逻辑斯蒂回归思想:
用线性回归的输出作为sigmod函数的输入,将其映射到(0,1)之间,可以视作概率,比较概率大小得出结果; -
损失函数
logistic回归无法使用线性回归的均方误差来定义损失函数,因为它为二分类问题,我们可以得出它的概率分布函数,然后通过似然函数求解最优参数;为了方便计算,我们采用对数似然函数进行求导求解最优参数;
计算二元逻辑回归损失函数的优化方式:
梯度下降法;
牛顿法;
-
-
朴素贝叶斯
朴素贝叶斯的思想:利用训练数据得出变量的联合概率分布,然后求出最大后验概率分布得出分类结果;
1)联合概率分布 P(X,Y) = P(Y)*P(X|Y)
2) 利用朴素贝叶斯需要前提假定,即条件独立性;例如P(X=x1,X=x2|Y) = P(X=x1|Y)*P(X=x2|Y)
3) 计算后验概率分布 P(Y|X) = P(X,Y)/P(X) 分子为联合概率分布,分母为X的边际分布(也可运用全概率公式)
当输入X特征时,可以得到属于Y类别的概率我们可以采用最大化后验概率得到分类结果;因为针对所有分类P(X)相同,我们只需最大化分子来代替;
argmax(P(X,Y)) = argmax(P(Y)*P(X|Y)) 该结果返回分类结果作为f(X)特殊:再选用0-1函数作为损失函数条件下,损失函数定义为: 1 if 预测类别=真实类别 else 0;
一个特征向量的输入可能会输出多种分类结果,这里采用期望风险最小化;(再该条件下,期望风险最小化等价于后验概率最大化)
即输入特定X特征向量然后输出结果与真实结果的损失的期望