1樓：網友
牛頓法是二階收斂，梯度下降是一階收斂，所以牛頓法就更快。如果更通俗地說的話，比如你想找一條最短的路徑走到乙個盆地的最底部，梯度下降法每次只從你當前所處位置選乙個坡度最大的方向走一步，牛頓法在選擇方向時，不僅會考慮坡度是否夠大，還會考慮你走了一步之後，坡度是否會變掘頌得更大。所以，可以說牛頓法比梯度下降法看得更遠一點，能更快地走到最底部。
根據wiki上的解釋，從幾何上說，牛頓法就是用乙個二次曲面去擬合你當前所處位置橘散源的區域性曲面，而梯度下降法是用乙個平面去擬合當前的區域性曲面，通常情況下，二次曲面的擬合會比平面更好，所以牛頓法選擇的下降路徑會更符合真實的最優下降路徑。1. 牛頓法起始點不能離區域性極小點太遠，否則很可能不會收斂。
考慮到二階擬合應該很容易想象)，所以實際操作中會先使用別的方法，比如梯度下降法，使更新的點離最優圓態點比較近，再開始用牛頓法。
2. 牛頓法每次需要更新乙個二階矩陣，當維數增加的時候是非常耗記憶體的，所以實際使用是會用擬牛頓法。
3. 梯度下降法在非常靠近最優點時會有**，就是說明明離的很近了，卻很難到達，因為線性的逼近非常容易乙個方向過去就過了最優點(因為只能是負梯度方向)。但牛頓法因為是二次收斂就很容易到達了。
牛頓法最明顯快的特點是對於二階函式(考慮多元函式的話要在凸函式的情況下)，牛頓法能夠一步到達，非常有效。
2樓：今日愛題詩
實際中用的牛頓法嚴格意義上不是二次收斂，因為步長設定的關係。為了方便分析兩個問題的收斂的效能，給出如下兩個條件：
1. 假設問題是無約束凸優化問題，即求凸函式的最小值。凸優化問題是應用最廣的優化模型，因為它最容易解決，實際應用中的很多問題都是能轉巖春化為凸優化問題的。
2. 進一步，假設目標函式在可行域上是強凸的，即存在，使得成立。第乙個階段回溯直線搜尋時步，因此稱為塵悉阻尼牛頓派棗乎階段。
在第二個階段已經很靠近了，此時始終有，牛頓法的收斂會極為迅速，稱為二次收斂階段，也稱為純牛頓階段。在絕大多數的情況下，第二個階段的迭代次數不會超過五六次，這也是牛頓法相較於梯度下降法最大的優勢，而且牛頓法對高維計算的應對也非常好。
3樓：尹朶月
我想最開始接觸梯度的各位是在方向導數那一章接觸這一概喊頌唸的，如果老師沒怎麼講的話可能有些人還不知道梯度是個向量。當你學梯度的時候，所有的概念全都是在二元函式下的，well，也氏滲梁寫想象力不是很豐富的同學可能不知道這是個啥。來，我們降維先。
多維條件下是曲面對函式的一階偏導數向量，那麼在一維條件下梯度會是什麼的，顯然就木有偏導數了殲運，只有乙個東西，當然你也可以把它寫成向量的形式，就是乙個導數，只不過現在變成一維的了，所以方向只有倆，向左和向右。值為正的時候向右，值為負的時候向左，值大值小不影響方向隻影響距離。<>
梯度下降法與牛頓法
4樓：世紀網路
梯度下降和牛頓法的推導均與泰勒公式有關，所以先介紹泰勒公式：
基本形式：
上面這個迭代形式將應用到下面的梯度下降和牛團明頓法中。
梯度下降法應用一階泰勒，假設l
代表損失函式，目標：最小化損失函式，θ是需要更新的模型引數。下面公式中alpha是步長(學習率)，可以直接賦值乙個小的數，也可以通過line search。
牛頓法應用二階泰勒，目標：最小化損失函式。
g定義為雅克比矩陣，矩陣中各元素對應一階偏導數。
hessian矩陣中各元素對應二階偏導數。hessian矩陣的逆同比於梯度下降法的學習率引數alpha，hessian的逆在迭代中不斷減小，起到逐漸縮小步長的效果。
1.梯度下降法：通過梯度方向和步長，直接求解目標隱肢函式最小值時的引數。
越接近最優值時，步長應該不斷減小，否則會在最優值附近來回**。
2.牛頓法：
優點：通過求解目標函式的一階導數為0時的引數，進而求出目標函式最小值時的引數。收斂速度很快。海森矩陣的逆在迭代過程中不斷減小，可以起到逐步減小步長的效果。
缺點：海森矩陣的逆計算複雜，代價比較大，因此有了擬牛頓法。
解決牛頓法計算比較複雜的問題，使用正定矩陣近似hessian矩陣的逆，簡塌攜告化了運算的複雜度。
常用的擬牛頓演算法：dfp演算法和bfgs演算法。
簡單迭代法與牛頓迭代法的比較
5樓：匿名使用者
簡單迭代法的步驟是如下：
1）先對某一網格點設一初值，這個初值完全可以任意給定，稱為初值電位。雖然，問題的最終結果與初值無關，但初值選擇估計得當，則計算步驟會得到簡化。（當利用計算機來實現迭代計算時，為了簡化程式初值電位一般可取為零值）。
2）初值電位給定後，按乙個固定順序（點的順序是從左到右，從下到上）依次計算每點的電位，即利用（式，用圍繞它的四個點的電位的平均值。
作為它的新值，當所有的點計算完後，用它們的新值代替舊值，即完成了一次迭代。然後再進行下一次迭代，直到每一點計算的新值和舊值之差小於指定的範圍為止。
簡單迭代法的特點是用前一次迭代得到的網路點電位作為下一次迭代時的初值。
牛頓迭代法。
newton's method）又稱為牛頓-拉夫遜方法（newton-raphson method），它是牛頓在17世紀提出的一種在實數域和複數域上近似求解方程的方法。多數方程不存在求根公式，因此求精確根非常困難，甚至不可能，從而尋找方程的近似根就顯得特別重要。方法使用函式f(x)的泰勒級數的前面幾項來尋找方程f(x) =0的根。
牛頓迭代法是求方程根的重要方法之一，其最大優點是在方程f(x) =0的單根附近具有平方收斂，而且該法還可以用來求方程的重根。
復根。另外該方法廣泛用於計算機程式設計。中。
牛頓迭代法看不懂正常嗎
6樓：阿藏聊教育
正常。
問題解決
利用迭代演算法解決問題，需要做好以下三個方面的工作：
一、確定迭代變數。
在可以用迭代演算法解決的問題中，至少存在乙個可直接或間接地不斷由舊值遞推出新值的變數，這個變數就是迭代變數。
二、建立迭代關係式。
所謂迭代關係式，指如何從變數的前乙個值推出其下乙個值的公式（或關係）。迭代關係式的建立是解決迭代問題的關鍵，通常可以使用遞推或倒推的方法來完成。
三、對迭代過程進行控制。
在什麼時候結束迭代過程？這是編寫迭代程式必須考慮的問題。不能讓迭代過程無休止地執行下去。
迭代過程的控制通常可分為兩種情況：一種是所需的迭代次數是個確定的值，可以計算出來；另一種是所需的迭代次數無法確定。
對於前一種情況，可以構建乙個固定次數的迴圈來實現對迭代過程的控制；對於後一種情況，需要進一步分析得出可用來結束迭代過程的條件。
以上內容參考：百科-牛頓迭代法。
牛頓晚年為什麼要證實上帝的存在牛頓晚年為什麼要證明上帝的存在？
因為歐洲人看事物的角度和我們東方人不同，但在本原上是不矛盾的。東方人把本原當作虛無，而西方人則當作上帝，東方人說算命，陰陽有道理，有科學成分，同理，西方人說理性，科學也是上帝的一部分一樣。任何一個人的行為都是為自己尋找存在的本原或者動力，牛頓所進行的一切科學行為，也是為了想知道世界的真相是什麼？探索...
牛頓最後為什麼覺得神學才是真的，牛頓和愛因斯坦最後都開始研究神學，是不是因為物極必反的道理？
牛頓是偉大的科學家，但是他既然相信上帝的存在，我認為除了理論的學習，一定在生活中遇到過不可思議的事情，確認了上帝是存在的，但是卻無法公之於眾，只能藏在心裡。第一切線力，地球運轉，必須有初始力，而這個力，人類是做不到的，只能更高等級的生命或者傳說中的上帝，才能撥動地球，這與科學無神論是相悖的，於是他開...
請問16比9怎麼個好法,為什麼比4 3的要好,而且對於人眼而言哪個跟好,因為什麼
16 9的結果就是 分割。16 9比4 3更寬，其左右兩個邊界，上下邊界與人眼的視角都最接近 分割，所以16 9液晶螢幕比4 3液晶螢幕讓人使用時最舒服，能最大程度的提高人的舒適度，降低疲勞程度。下面補充一下 分割的由來，共享之！分割是眼球視覺最佳比例.古希臘人以為，美是神的語言。他們找到了一條數學...