逻辑回归解决多分类问题
- 第一种方式:从类别入手
- 1、OVO(one vs one)
- 2、OVR(One Vs Rest)
- 第二种方法:从算法入手
传统的逻辑回归只能处理二分类问题,对于多分类任务,主要有如下两种方案。
第一种方式:从类别入手
1、OVO(one vs one)
某个分类算法有N类,将某一类和另一类比较作为二分类问题,总共可分为种不同的二分类模型,给定一个新的样本点,求出每种二分类对应的概率,概率最高的一类作为新样本的预测结果。
2、OVR(One Vs Rest)
某个分类算法有N类,将某一类和剩余的类比较作为二分类问题,N个类别进行N次分类,得到N个二分类模型,给定一个新的样本点,求出每种二分类对应的概率,概率最高的一类作为新样本的预测结果。
第二种方法:从算法入手
第二种方式是修改logistic回归的损失函数,让其适应多分类问题。这个损失函数不再笼统地只考虑二分类非1就0的损失,而是具体考虑每个样本标记的损失。这种方法叫做softmax回归,即logistic回归的多分类版本。
关于softmax请自行百度。