З курсу математики відомо, що напрямок найбільшого зростання будь-якої функції, в нашому випадку характеризується її градієнтом:
де – одиничні вектори у напрямку координатних осей. Отже, напрям, протилежний градієнтному, вкаже напрямок найбільшого спадання функції а методи, засновані на виборі шляху оптимізації за допомогою градієнта, називаються градієнтними.
Процес відшукання точки мінімуму функції за методом градієнтного спуску полягає в наступному: на початку вибираємо деяку початкову точку і обчислюємо в ній градієнт функції . Далі, робимо крок у антиградієнтному напрямку (де ). У результаті отримуємо нову точку , значення функції в якій зазвичай менше за значення функції в точці . Якщо ця умова не виконується, тобто значення функції не змінилося або навіть зросла, то потрібно зменшити крок (), після чого, у новій точці обчислюємо градієнт і знову робимо крок у зворотному до нього напрямку .
Процес продовжується до отримання найменшого значення цільової функції. Строго кажучи, момент закінчення пошуку настане тоді, коли рух з отриманої точки, при виборі будь-якого кроку, призводить до зростання значення цільової функції. Якщо мінімум функції досягається всередині розглядуваної області, то в цій точці градієнт дорівнює нулю, що також може служити сигналом про закінчення процесу оптимізації.
Формули для частинних похідних можна отримати в явному вигляді лише в тому випадку, коли цільова функція задана аналітично. В іншому випадку ці похідні обчислюються за допомогою чисельного диференціювання:
Зауважимо, що знайти точку мінімуму функції можна також шляхом зведення багатовимірної задачі оптимізації до послідовності одновимірних задач на кожному кроці оптимізації. Такий спосіб називається методом покоординатного спуску. Різниця полягає в тому, що у методі градієнтного спуску напрямок оптимізації визначається градієнтом цільової функції, тоді як у методі покоординатного спуску проводиться спуск на кожному кроці вздовж одного з координатних напрямків.