从 Linear Regression 到 Logistic Regression

给定二维样本数据集 \(D = \left\{ (\vec{x}_{1}, y_{1}), (\vec{x}_{2}, y_{2}), \ldots, (\vec{x}_{n}, y_{n}) \right\}\)，其中 \(\vec{x}_{1}, \ldots, \vec{x}_{n} \in X\) 为 \(d\) 维向量（即 \(X\) 的size 为 \(n \times d\)）, \(y_{1}, \ldots, y_{n} \in Y\)。我们希望得到一条直线 \(Y = X\beta + \varepsilon\) 来刻画 \(X\) 和 \(Y\) 之间的一般关系，由于真实数据集存在随机项 \(\varepsilon_{i} \sim N(0, \sigma^{2})\)，一般情况下这条直线不可能精准地穿过所有的数据点，因此我们希望它尽可能地贴近所有的数据点。如何定义这个 “尽可能地贴近”？数学上来说，我们通过求最小化均方误差（MSE）来实现，即：

注意到表达式中的 \(X \beta\) 已经包含了直线的常数项。初学者可能会碰到的一个问题是，为什么上式中的最小化目标是 \(|| Y - X\beta ||^{2}\)，而不是 \(|| Y - X\beta - \varepsilon||^{2}\)？原因是，直线 \(Y = X \beta + \varepsilon\) 是我们的 model ground truth，我们容忍随机变量 \(\varepsilon \sim N(0, \sigma^{2})\) 作为误差存在，而误差作为随机项无法消除，是数据集本身的特性，并非是模型的问题。我们通过解以上最优化问题，能够得到一个最优参数 \(\beta^{*}\)，反过来我们将 \(X\) 代入得到的模型 \(\hat{Y} = X \beta^{*}\)，此时的 \(\hat{Y}\) 代表着预测值，它会与 ground truth \(Y\) 产生一个残差 \(e = Y - \hat{Y}\)。注意到 \(e\) 和 \(\varepsilon\) 在定义上是不同的，\(\varepsilon\) 是理论模型中的随机变量，它是无法被描述为具体某个值的，而残差 \(e\) 则是针对一系列已观测的数据点根据线性回归模型求出的具体值。

上述最优化问题的偏导求解如下：

令 \(\frac{\partial S}{\partial \beta} = 0\)，即：

因此，我们拟合出的直线 \(\hat{Y} = X \beta\) 可以直接写作：

Logistic Regression

这和 Logistic Regression 有何联系呢？Logistic Regression 是一个二分类模型，对于每一个 \(\vec{x} \in X\) 我们希望根据 \(\vec{x}\) 得到其对应的 label \(y \in \left\{ 0, 1 \right\}\)，在离散空间上取值。一个思想是，我们设计一个中间函数 \(g(z) \in \left\{ 0, 1 \right\}\)，例如：

如此，我们便将连续的 \(z\) 转换为二元取值 \(g(z)\)，再采取类似的方法优化 \(g\) 中的参数，使得预测结果贴近真实的 \(Y\)。然而如上设计的 \(g\) 并不连续，故而不可微，这并不符合广义线性模型（GLM）的条件。我们希望这么一个中间函数 \(g\)，它的取值在 \((0, 1)\) 上，并且单调可微，因此便有了 sigmoid 函数的提出：

不难判断出对于 \(\forall z \in \mathbb{R}: ~ \sigma(z) \in (0, 1)\)，且 \(\sigma(z)\) 在 \(\mathbb{R}\) 上单调递增且可微。我们令：

我们发现，对于输入任意的 \(\vec{x} \in X\)，sigmoid 函数先将 \(\vec{x}\) 转化为一个取值在 \((0, 1)\) 上的标量。除此之外还有：

这样等式的右边又回到 Linear Regression 的简单结构。

Maximum Likelihood Estimation

我们会发现存在这么一个问题，即，数据集最终的 label 取值在 \(\left\{ 0, 1 \right\}\) 中，为离散值，而经由 sigmoid 计算得到的值却在 \((0, 1)\) 间连续取值。这个问题的解决办法是，我们不再将 sigmoid 函数生成的值（\(y\)）视作 label，而是视作 “对于给定的 \(\vec{x}\)，其 label 为 \(y=1\)” 的概率，即：

注意到以上第一个式子中等式两边的 \(y\) 的含义并不相同，等式左侧的 \(y\) 代表着 “对于给定的 \(\vec{x}\) 其 label 为 \(1\) 的概率”，而等式右边的 \(y\) 为真实 label \(\in \left\{ 0, 1 \right\}\)。

我们会发现，由 total probability：\(P(y=1 ~ | ~ \vec{x}) + P(y=0 ~ | ~ \vec{x}) = 1\)，\(\frac{P(y=1 ~ | ~ \vec{x})}{P(y=0 ~ | ~ \vec{x})}\) 在 \(P(y=1 ~ | ~ \vec{x})\) 较大（\(P(y=0 ~ | ~ \vec{x})\) 较小）时较大，极端情况下将趋于正无穷，对数值也将趋于正无穷；相反，在 \(P(y = 1 ~ | ~ \vec{x})\) 较小（\(P(y=0 ~ | ~ \vec{x})\) 较小）时较小，极端情况下将趋于 \(0\)，对数值将趋于负无穷。当模型无法判断对于一个 \(\vec{x}\) 其 label 更偏向于 \(0\) 还是 \(1\) 时，此时 \(P(y=1 ~ | ~ \vec{x}) = P(y=0 ~ | ~ \vec{x}) = 0.5\)，使得对数值为 \(0\)。因此，在这种假设下，当训练好的模型计算的 \(\vec{w}^{T} \vec{x} + b > 0\)，模型将认为其 label 为 \(1\)；相反，当 \(\vec{w}^{T} \vec{x} + b < 0\) 时模型认为其 label 为 \(0\)。

在这种情况下，显然：

我们希望对于拥有真实 label \(y_{i} = 1\) 的所有 \(\vec{x}\)，模型得到的 \(P(y = 1 ~ | ~ \vec{x}; \vec{w}, b)\) 越大越好，即：

同理，对于拥有真实 label \(y_{i} = 0\) 的所有 \(\vec{x}\)，模型得到的 \(P(y=0 ~ | ~ \vec{x}; \vec{w}, b)\) 越大越好，即：

如何将以上两个目标统一起来（将两个式子写入一个式子中，使得该式摆脱对下标 \(y_{i}\) 的依赖）呢？即，我们希望建立一个式子 \(P(y = y_{i} ~ | ~ \vec{x_{i}}; \vec{w}, b)\)，表示对于任意 \(\vec{x_{i}} \in X\) 以及真实 label \(y_{i} \in \left\{ 0, 1 \right\}\)，模型预测成功（\(y = y_{i}\)）的概率。当这个综合表达式被建立后，我们便可以通过最大似然估计（MLE）求出在训练集上最优的参数 \(\vec{w}, b\)，即：

周志华的《机器学习》里提到这么一种构建方法：

这样构建能够满足我们的目标，即：当 \(y_{i} = 1\) 时，\(P(y_{i} ~ | ~ \vec{x_{i}}; \vec{w}, b) = P(y=1 ~ | ~ \vec{x_{i}}; \vec{w}, b)\)；当 \(y_{i} = 0\) 时，\(P(y_{i} ~ | ~ \vec{x_{i}}; \vec{w}, b) = P(y = 0 ~ | ~ \vec{x_{i}}; \vec{w}, b)\)。但是，这样会使得 MLE 求解变得复杂：

哪怕取对数似然：

并不能直接得到书中的目标结果：

一个更好的 \(P(y_{i} ~ | ~ \vec{x_{i}}; \vec{w}, b)\) 设计方法是：

这种形式也能满足我们上述的要求，并且我们对参数求解 MLE：

即为书中所求。

热门相关：流鱼无恙   前任无双   回眸医笑，冷王的神秘嫡妃   天神诀   锦乡里