代价函数与梯度下降

代价函数公式示例： $J\left(\theta _{0},\;\theta _{1}\right)=\dfrac{1}{2m}\sum ^{m}_{i=1}\left( h_{\theta }\left( x^{\left( i\right) }\right) -y^{\left( i\right) }\right) ^{2}$

h函数表示假设函数，示例（线性函数）： $h_{\theta}\left( x\right) =\theta _{0}+\theta _{1}x$

梯度下降公式示例： $\theta _{j}:=\theta _{j}-\alpha \dfrac{\partial}{\partial \theta _{j}}J\left(\theta _{0},\;\theta _{1}\right) （for\; j=0\;and\;j = 1）$

将代价函数代入偏导即可得到： $\theta _{j}:=\theta _{j}-\alpha\dfrac{1}{m}\sum ^{m}_{i=1}\left( h_{\theta }\left( x^{\left( i\right) }\right) -y^{\left( i\right) }\right)x_{j}^{(i)}$

$\alpha$ 表示学习率

学习率越大则梯度下降的速度越快，但容易错过代价值最小的位置；

$\alpha$ 后面跟着的是点 $(\theta_{0},\;\theta_{1})$ 的梯度，用来确定代价函数的最小值的位置

更新梯度时需要同步更新：

$temp_{0}:=\theta _{0}-\alpha \dfrac{\partial}{\partial \theta _{0}}J\left(\theta _{0},\theta _{1}\right)$
$temp_{1}:=\theta _{1}-\alpha \dfrac{\partial}{\partial \theta _{1}}J\left(\theta _{0},\theta _{1}\right)$
$\theta_{0}:=temp_{0}$
$\theta_{1}:=temp_{1}$

错误做法：

$temp_{0}:=\theta _{0}-\alpha \dfrac{\partial}{\partial \theta _{0}}J\left(\theta _{0},\theta _{1}\right)$

$\theta_{0}:=temp_{0}$

$temp_{1}:=\theta _{1}-\alpha \dfrac{\partial}{\partial \theta _{1}}J\left(\theta _{0},\theta _{1}\right)$

$\theta_{1}:=temp_{1}$

多元梯度下降

（多元线性回归）假设函数表示为： $h_{\theta}\left( x\right) =\theta_{0}+\theta _{1}x_{1}+\theta_{2}x_{2}+\ldots +\theta_{n}x_{n}=\theta^TX$

代价函数表示为： $J\left(\theta _{0},\;\theta _{1},\;\ldots,\;\theta_{n}\right)=J(\theta)=\dfrac{1}{2m}\sum ^{m}_{i=1}\left( h_{\theta }\left( x^{\left( i\right) }\right) -y^{\left( i\right) }\right) ^{2}$

梯度下降公式表示为： $\theta _{j}:=\theta _{j}-\alpha \dfrac{\partial}{\partial \theta _{j}}J(\theta)$

代入代价函数求偏导： $\theta _{j}:=\theta _{j}-\alpha\dfrac{1}{m}\sum ^{m}_{i=1}\left( h_{\theta }\left( x^{\left( i\right) }\right) -y^{\left( i\right) }\right)x_{j}^{(i)}$