逻辑斯蒂回归、朴素贝叶斯

• 逻辑斯蒂回归

  • 逻辑斯蒂分布(增长分布)：F(X) = P(X<=x) = 1/(1+e^(-(X-u)/γ))
    该分布曲线以（u，1/2）作为中心对称点

  • sigmod函数（亦称作Logistic函数）
    作用：将一个实数映射到（0，1）区间
    函数表达：s(X) = 1/(1+e^(-x)); 性质：当X趋近正无穷时，取值为1；当X趋近于负无穷时，取值为0；
    sigmod函数被用作激活函数：
    什么是激活函数？
    使用激活函数将非线性的特性引入到网络模型中；

  • 二项逻辑斯蒂回归思想：
    用线性回归的输出作为sigmod函数的输入，将其映射到（0，1）之间，可以视作概率，比较概率大小得出结果；

  • 损失函数
    logistic回归无法使用线性回归的均方误差来定义损失函数，因为它为二分类问题，我们可以得出它的概率分布函数，然后通过似然函数求解最优参数；

    为了方便计算，我们采用对数似然函数进行求导求解最优参数；
    计算二元逻辑回归损失函数的优化方式：
    梯度下降法；
    牛顿法；

• 朴素贝叶斯
  朴素贝叶斯的思想：利用训练数据得出变量的联合概率分布，然后求出最大后验概率分布得出分类结果；
  1）联合概率分布 P(X,Y) = P(Y)*P(X|Y)
  2) 利用朴素贝叶斯需要前提假定，即条件独立性；例如P(X=x1,X=x2|Y) = P(X=x1|Y)*P(X=x2|Y)
  3) 计算后验概率分布 P(Y|X) = P(X,Y)/P(X) 分子为联合概率分布，分母为X的边际分布（也可运用全概率公式）
  当输入X特征时，可以得到属于Y类别的概率

  我们可以采用最大化后验概率得到分类结果；因为针对所有分类P(X)相同，我们只需最大化分子来代替；
  argmax(P(X,Y)) = argmax(P(Y)*P(X|Y)) 该结果返回分类结果作为f(X)

  特殊：再选用0-1函数作为损失函数条件下,损失函数定义为： 1 if 预测类别=真实类别 else 0；
  一个特征向量的输入可能会输出多种分类结果，这里采用期望风险最小化；(再该条件下，期望风险最小化等价于后验概率最大化)
  即输入特定X特征向量然后输出结果与真实结果的损失的期望

逻辑斯蒂回归、朴素贝叶斯

• 逻辑斯蒂回归

  • 逻辑斯蒂分布(增长分布)：F(X) = P(X<=x) = 1/(1+e^(-(X-u)/γ))
    该分布曲线以（u，1/2）作为中心对称点

  • sigmod函数（亦称作Logistic函数）
    作用：将一个实数映射到（0，1）区间
    函数表达：s(X) = 1/(1+e^(-x)); 性质：当X趋近正无穷时，取值为1；当X趋近于负无穷时，取值为0；
    sigmod函数被用作激活函数：
    什么是激活函数？
    使用激活函数将非线性的特性引入到网络模型中；

  • 二项逻辑斯蒂回归思想：
    用线性回归的输出作为sigmod函数的输入，将其映射到（0，1）之间，可以视作概率，比较概率大小得出结果；

  • 损失函数
    logistic回归无法使用线性回归的均方误差来定义损失函数，因为它为二分类问题，我们可以得出它的概率分布函数，然后通过似然函数求解最优参数；

    为了方便计算，我们采用对数似然函数进行求导求解最优参数；
    计算二元逻辑回归损失函数的优化方式：
    梯度下降法；
    牛顿法；

• 朴素贝叶斯
  朴素贝叶斯的思想：利用训练数据得出变量的联合概率分布，然后求出最大后验概率分布得出分类结果；
  1）联合概率分布 P(X,Y) = P(Y)*P(X|Y)
  2) 利用朴素贝叶斯需要前提假定，即条件独立性；例如P(X=x1,X=x2|Y) = P(X=x1|Y)*P(X=x2|Y)
  3) 计算后验概率分布 P(Y|X) = P(X,Y)/P(X) 分子为联合概率分布，分母为X的边际分布（也可运用全概率公式）
  当输入X特征时，可以得到属于Y类别的概率

  我们可以采用最大化后验概率得到分类结果；因为针对所有分类P(X)相同，我们只需最大化分子来代替；
  argmax(P(X,Y)) = argmax(P(Y)*P(X|Y)) 该结果返回分类结果作为f(X)

  特殊：再选用0-1函数作为损失函数条件下,损失函数定义为： 1 if 预测类别=真实类别 else 0；
  一个特征向量的输入可能会输出多种分类结果，这里采用期望风险最小化；(再该条件下，期望风险最小化等价于后验概率最大化)
  即输入特定X特征向量然后输出结果与真实结果的损失的期望