У методах другого порядку при пошуку мінімуму використовують інформацію про функцію та її похідні до другого порядку включно. До цієї групи відносять метод Ньютона, в основі якого лежить квадратична апроксимація, яку отримують шляхом розкладу функції в ряд Тейлора і відкидаючи члени третього і більш високих порядкув:
де – квадратна матриця (матриця Гессе), елементами якої є частинні похідні другого порядку функції в точці і які можна обчислити за наступною формулою:
Далі, для визначення напрямку пошуку точки мінімуму за методом Ньютона, замінимо в виразі (1) на і на . В результаті отримаємо:
Після чого, визначемо мінімум функції в напрямку продиференціювавши її по кожній з компонент і прирівнянням до нуля отримані вирази. У результаті отримуємо співвідношення: , де – обернена матриця до матриці Гессе в точці . Тоді перехід від точки до точки за методом Ньютона буде здійснюватись з допомогою наступної формули .
В даному випадку і величина кроку і напрямок пошуку повністю визначені. Якщо – квадратична функція (опукла вниз), то для досягнення мінімуму достатньо одного кроку. Але в загальному випадку нелінійної функції за один крок мінімум не досягається. Тому останню формулу, зазвичай, переписують у наступному вигляді:
Ітерацыйний процес методу Ньютона продовжується до тих пір, поки не буде виконуватись умова .