Мінімізація функції методами других порядків (метод Ньютона)

У методах другого порядку при пошуку мінімуму використовують інформацію про функцію та її похідні до другого порядку включно. До цієї групи відносять метод Ньютона, в основі якого лежить квадратична апроксимація, яку отримують шляхом розкладу функції метод Ньютона в ряд Тейлора і відкидаючи члени третього і більш високих порядкув:

Метод Ньютона

де Метод Ньютона — квадратна матриця (матриця Гессе), елементами якої є частинні похідні другого порядку функції optumizacija_metodom_njytona4 в точці Метод Ньютона і які можна обчислити за наступною формулою:

Метод Ньютона

Далі, для визначення напрямку пошуку точки мінімуму за методом Ньютона, замінимо в виразі (1) Метод Ньютона на Метод Ньютона і Метод Ньютона на Метод Ньютона. В результаті отримаємо:

Метод Ньютона

Після чого, визначемо мінімум функції optumizacija_metodom_njytona4 в напрямку Метод Ньютона продиференціювавши її по кожній з компонент Метод Ньютона і прирівнянням до нуля отримані вирази. У результаті отримуємо співвідношення: Метод Ньютона, де Метод Ньютона — обернена матриця до матриці Гессе в точці Метод Ньютона. Тоді перехід від точки Метод Ньютона до точки Метод Ньютона за методом Ньютона буде здійснюватись з допомогою наступної формули Метод Ньютона.

В даному випадку і величина кроку і напрямок пошуку повністю визначені. Якщо optumizacija_metodom_njytona4 — квадратична функція (опукла вниз), то для досягнення мінімуму достатньо одного кроку. Але в загальному випадку нелінійної функції за один крок мінімум не досягається. Тому останню формулу, зазвичай, переписують у наступному вигляді:

Метод Ньютона

Ітерацыйний процес методу Ньютона продовжується до тих пір, поки не буде виконуватись умова Метод Ньютона.

Блок-схема програмної реалізації методу Ньютона для мінімізації функції двох змінних:

Метод Ньютона

Матеріал був корисним, поділись в соціальних мережах:

Якщо тобі сподобалась дана тема, залиш свій коментар