逻辑回归函数

逻辑回归需要将函数的取值落在 [0，1]这个区间上，那怎么样才能让这个函数取值落在 [0，1]之间呢？

逻辑（logistic）函数其实也就是经常说的 $sigmoid$ 函数，它的几何形状是一条S型曲线。

f(x)=\frac{1}{1+e^{-x}}

该函数具有如下的特性：当 $x$ 趋近于负无穷时， $y$ 趋近于0；当 $x$ 趋近于正无穷时， $y$ 趋近于1；当 $x= 0$ 时， $y=0.5$ 。

因此该函数非常适合用来作为逻辑回归模型的假设函数，原来的假设函数是： $h_\theta(x)=\theta^Tx$ ，通过 $sigmoid$ 函数进行变换之后，就能得到一个新的假设函数：

h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}

优点：

$Sigmoid$ 函数的输出映射在(0,1)之间，单调连续，输出范围有限，优化稳定，可以用作输出层。
求导容易。

缺点：

由于其软饱和性，容易产生梯度消失，导致训练出现问题。
其输出并不是以0为中心的。

决策边界

在假设函数中，我们取的值一般都是一个连续的值，但我们要分类的结果 $y$ 是离散的，不是0就是1。

因此通过以一个数值为界限，例如以0.5为界限，当 $sigmoid$ 函数取值大于等于0.5时取1，否则取0。

线性决策边界

假设在一个二维平面上有这样一堆点，平面上的所有点是由横坐标、纵坐标两个自变量确定的。如下图：

假设此时我们已经拟合好了参数 $\theta$ ，值为 $\begin{bmatrix} -3 \\ 1 \\ 1 \end{bmatrix}$ ，画出该假设函数的图像，这条直线就是决策边界，分类器就是通过这个决策边界进行分类的。

非线性决策边界

假设这些点如下图所示，很明显这不能用一条直线来作为决策边界，因此就需要更加复杂的函数来进行拟合。

$如：h_{\theta}(x)=g(\theta_0 + \theta_1x_1 + \theta_2x_2 + \theta_3x_1^2 + \theta_4x_2^2)$

通过拟合出参数 $\theta=\begin{bmatrix} -1\\0\\0\\1\\1 \end{bmatrix}$ 后，假设函数表示的图像就变成了一个圆，这个圆也就是我们的决策边界。

总结

通过逻辑回归寻找决策边界，而决策边界由函数的形式和函数的参数共同决定。

逻辑回归中的代价函数

代价函数

我们要想找到最合适的参数，就要有一个衡量参数好坏的标准，而这个标准我们就叫做代价函数（cost function）

假设有 $m$ 个训练样本： $(x^{(1)},y^{(1)}),\;(x^{(2)},y^{(2)}),\;\ldots,\;(x^{(m)},y^{(m)})$ ，每个 $x$ 都是一个向量： $x\in \begin{bmatrix} x_0\\x_1\\\ldots\\x_n \end{bmatrix}\quad x_0=1$ ，对应的每一个 $y$ ： $y \in \{0,\;1\}$ ；假设函数如下：

h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}

那么应该如何为这个假设函数选择合适的 $\theta$ 值呢？

之前的线性回归的代价函数为： $J\left(\theta\right)=\dfrac{1}{m}\sum ^{m}_{i=1} \frac{1}{2} \left( h_{\theta }\left( x^{\left( i\right) }\right) -y^{\left( i\right) }\right) ^{2}$ ，这个函数的意思是在 $\theta$ 参数下的假设函数对自变量的预测值和实际值之间的差距大小的一半，最后把 $m$ 个差距求和，其中的 $cost(h_\theta(x),\;y)=\frac{1}{2}(h_{\theta}(x^{(i)})-y^{(i)})^{2}$ 就是第 $i$ 个样本所花费的代价。