Мініиізація функції декількох змінних використовуючи метод градієнтного спуску
З курсу математики відомо, що напрямок найбільшого зростання будь-якої функції, в нашому випадку характеризується її градієнтом:
де — одиничні вектори у напрямку координатних осей. Отже, напрям, протилежний градієнтному, вкаже напрямок найбільшого спадання функції а методи, засновані на виборі шляху оптимізації за допомогою градієнта, називаються градієнтними.
Процес відшукання точки мінімуму функції за методом градієнтного спуску полягає в наступному: на початку вибираємо деяку початкову точку
і обчислюємо в ній градієнт функції
. Далі, робимо крок у антиградієнтному напрямку
(де
). У результаті отримуємо нову точку
, значення функції в якій зазвичай менше за значення функції в точці
. Якщо ця умова не виконується, тобто значення функції не змінилося або навіть зросла, то потрібно зменшити крок
(
), після чого, у новій точці обчислюємо градієнт і знову робимо крок у зворотному до нього напрямку
.
Процес продовжується до отримання найменшого значення цільової функції. Строго кажучи, момент закінчення пошуку настане тоді, коли рух з отриманої точки, при виборі будь-якого кроку, призводить до зростання значення цільової функції. Якщо мінімум функції досягається всередині розглядуваної області, то в цій точці градієнт дорівнює нулю, що також може служити сигналом про закінчення процесу оптимізації.
Формули для частинних похідних можна отримати в явному вигляді лише в тому випадку, коли цільова функція задана аналітично. В іншому випадку ці похідні обчислюються за допомогою чисельного диференціювання:
Зауважимо, що знайти точку мінімуму функції можна також шляхом зведення багатовимірної задачі оптимізації до послідовності одновимірних задач на кожному кроці оптимізації. Такий спосіб називається методом покоординатного спуску. Різниця полягає в тому, що у методі градієнтного спуску напрямок оптимізації визначається градієнтом цільової функції, тоді як у методі покоординатного спуску проводиться спуск на кожному кроці вздовж одного з координатних напрямків.