У методах другого порядку при пошуку мінімуму використовують інформацію про функцію та її похідні до другого порядку включно. До цієї групи відносять метод Ньютона, в основі якого лежить квадратична апроксимація, яку отримують шляхом розкладу функції в ряд Тейлора і відкидаючи члени третього і більш високих порядкув:
де – квадратна матриця (матриця Гессе), елементами якої є частинні похідні другого порядку функції
в точці
і які можна обчислити за наступною формулою:
Далі, для визначення напрямку пошуку точки мінімуму за методом Ньютона, замінимо в виразі (1) на
і
на
. В результаті отримаємо:
Після чого, визначемо мінімум функції в напрямку
продиференціювавши її по кожній з компонент
і прирівнянням до нуля отримані вирази. У результаті отримуємо співвідношення:
, де
– обернена матриця до матриці Гессе в точці
. Тоді перехід від точки
до точки
за методом Ньютона буде здійснюватись з допомогою наступної формули
.
В даному випадку і величина кроку і напрямок пошуку повністю визначені. Якщо – квадратична функція (опукла вниз), то для досягнення мінімуму достатньо одного кроку. Але в загальному випадку нелінійної функції за один крок мінімум не досягається. Тому останню формулу, зазвичай, переписують у наступному вигляді:
Ітерацыйний процес методу Ньютона продовжується до тих пір, поки не буде виконуватись умова .