梯度下降法

梯度下降法是迭代法的一種，可以用於求解最小二乘問題（線性和非線性都可以）。在求解機器學習演算法的模型引數，即無約束優化問題時，梯度下降是最常採用的方法之一，在求解損失函式的最小值時，可以通過梯度下降法來一步步的迭代求解，得到最小化的損失函式和模型參數值。反過來，如果我們需要求解損失函式的最大值，這時就需要用梯度上升法來迭代了。