Оптимізація функції багатьох змінних методом покоординатного спуску

Нехай дано деяку функцію для якої потрібно визначити мінімальне значення. Для цього, в якості початкового наближення, виберемо деяку точку . Далі, підставимо в функцію всі точки початкового наближення крім першої. Тоді отримаємо функцію однієї змінної . Знайшовши для даної функції точку мінімуму, переходимо від точки до точки в якій функція  приймає мінімальне значення по координаті . У цьому полягає перший крок процесу оптимізації, що складається в спуску по координаті  (для знаходження точки мінімуму функції однієї змінної можна використовувати наступні методи: методом дихотомії, методом Фібоначі, методом золотого перетину,...).

Підставимо тепер в функцію  всі координати точки крім , і розглянемо функцію виду . Знову вирішуючи одновимірну задачу оптимізації, знаходимо нову точку , в якій функція  приймає мінімальне значення по координаті . Аналогічним чином проводиться спуск по координатах після чого процедура знову повторюється від  до . В результаті даного процесу отримуємо послідовність точок в яких значення цільової функції складають монотонно спадну послідовність . Відмітимо, що на будь-якому -му кроці данний процес можна призупинити, і в якості мінімального значення функції приймається  .

Таким чином, метод покоординатного спуску зводить задачу про знаходження найменшого значення функції багатьох змінних до багаторазового рішенням одновимірних задач оптимізації по кожній з цих змінних.

Давайте продемонструємо даний процес для функції, яка описує деяку поверхність в тривимірному просторі, тобто являється функцією двох змінних виду . Процес оптимізації в цьому випадку проходить наступним чином: в якості початкового наближення береться точка після чого проводиться спуск по координаті (попадаємо в точку ); далі проводимо спуск по координаті (попадаємо в точку ) і так далі продовжуємо даний процес.

Також слід зазначити, що процес збіжності методу покоординатного спуску залежить від виду самої функції та вибору початкового наближення.

Блок-схема програмної реалізації методу покоординатного спуску для функції двох змінних: