type
status
date
slug
summary
tags
category
icon
password
逻辑回归
概念
逻辑回归不是一个回归的算法，逻辑回归是一个分类的算法，就比如卡巴斯基不是司机。
那为什么逻辑回归不叫逻辑分类？因为逻辑回归算法是基于多元线性回归的算法。而正因为此，逻辑回归这个分类算法是线性的分类器。
Sigmoid 作用
逻辑回归就是在多元线性回归基础上把结果缩放到 0 到 1 之间。 h (x)越接近+1 越是正例， h (x)越接近 0 越是负例，根据中间 0.5 分为二类，即二分类
为什么用sigmod?其实是一系列的数学推导，还没看懂，先略了zzz
损失函数
如何做多分类？
1 One VS All
来个gpt的举例
一对多（One-vs-Rest，OvR）方法是处理多分类问题的一种常用技巧。它的核心思想是将一个多分类问题分解为多个二分类子问题，每个子问题解决一个类别是否属于当前类别的问题。以下是一个简单的例子来说明一对多方法的原理：
假设我们有一个数据集包含三个类别的样本：狗、猫和兔子。我们想使用逻辑回归进行多分类。下面是一对多方法在这个情境下的应用：
- 数据集准备：
假设我们有一个数据集，每个样本有两个特征，特征向量表示为 (feature1, feature2)。还有一个目标向量，每个元素表示相应样本的类别：0 表示狗，1 表示猫，2 表示兔子。
- 一对多训练：
- 步骤 1：训练狗 vs. 非狗（猫 + 兔子）的逻辑回归模型。
- 步骤 2：训练猫 vs. 非猫（狗 + 兔子）的逻辑回归模型。
- 步骤 3：训练兔子 vs. 非兔子（狗 + 猫）的逻辑回归模型。
对于一对多方法，我们将三个类别分别作为正类别，其他两个类别合并作为负类别。
在每个步骤中，将目标标签进行转换：当前类别为正类（1），其他类别为负类（0）。然后在每个步骤中分别训练一个逻辑回归模型。
- 预测：
在预测时，对于一个新的样本，将它传递给三个训练好的模型进行预测。每个模型返回一个概率值，表示样本属于当前类别的概率。最终，选择具有最高概率的类别作为预测结果。
一对多方法的优势在于它相对简单，易于实现，并且可以使用逻辑回归等简单分类器进行训练。然而，在某些情况下，不同类别之间的关系可能导致决策边界不一致，或者可能需要更复杂的分类器来处理更复杂的分类问题。
2 多项式逻辑回归（Softmax 回归）
softmax 回归是另一种做多分类的算法。从名字中大家是不是可以联想到广义线性回
归，softmax 回归是假设多项分布的，多项分布可以理解为二项分布的扩展。
也是我没完全看懂的地方
其它
- 作者:MasterYe
- 链接:https://www.masterye.xyz//article/AI-3
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章