Оптимізація функції багатьох змінних методом покоординатного спуску
Нехай дано деяку функцію для якої потрібно визначити мінімальне значення. Для цього, в якості початкового наближення, виберемо деяку точку
. Далі, підставимо в функцію
всі точки початкового наближення крім першої. Тоді отримаємо функцію однієї змінної
. Знайшовши для даної функції точку мінімуму, переходимо від точки
до точки
в якій функція
приймає мінімальне значення по координаті
. У цьому полягає перший крок процесу оптимізації, що складається в спуску по координаті
(для знаходження точки мінімуму функції однієї змінної можна використовувати наступні методи: методом дихотомії, методом Фібоначі, методом золотого перетину,...).
Підставимо тепер в функцію всі координати точки
крім
, і розглянемо функцію виду
. Знову вирішуючи одновимірну задачу оптимізації, знаходимо нову точку
, в якій функція
приймає мінімальне значення по координаті
. Аналогічним чином проводиться спуск по координатах
після чого процедура знову повторюється від
до
. В результаті даного процесу отримуємо послідовність точок
в яких значення цільової функції складають монотонно спадну послідовність
. Відмітимо, що на будь-якому
-му кроці данний процес можна призупинити, і в якості мінімального значення функції приймається
.
Таким чином, метод покоординатного спуску зводить задачу про знаходження найменшого значення функції багатьох змінних до багаторазового рішенням одновимірних задач оптимізації по кожній з цих змінних.
Давайте продемонструємо даний процес для функції, яка описує деяку поверхність в тривимірному просторі, тобто являється функцією двох змінних виду . Процес оптимізації в цьому випадку проходить наступним чином: в якості початкового наближення береться точка
після чого проводиться спуск по координаті
(попадаємо в точку
); далі проводимо спуск по координаті
(попадаємо в точку
) і так далі продовжуємо даний процес.

Графічне представлення методу покоординатного спуску
Також слід зазначити, що процес збіжності методу покоординатного спуску залежить від виду самої функції та вибору початкового наближення.