З курсу математики відомо, що напрямок найбільшого зростання будь-якої функції, в нашому випадку 
характеризується її градієнтом:
де 
– одиничні вектори у напрямку координатних осей. Отже, напрям, протилежний градієнтному, вкаже напрямок найбільшого спадання функції а методи, засновані на виборі шляху оптимізації за допомогою градієнта, називаються градієнтними.
Процес відшукання точки мінімуму функції 
за методом градієнтного спуску полягає в наступному: на початку вибираємо деяку початкову точку 
і обчислюємо в ній градієнт функції . Далі, робимо крок у антиградієнтному напрямку 
(де 
). У результаті отримуємо нову точку 
, значення функції в якій зазвичай менше за значення функції в точці 
. Якщо ця умова не виконується, тобто значення функції не змінилося або навіть зросла, то потрібно зменшити крок 
(
), після чого, у новій точці обчислюємо градієнт і знову робимо крок у зворотному до нього напрямку 
.
Процес продовжується до отримання найменшого значення цільової функції. Строго кажучи, момент закінчення пошуку настане тоді, коли рух з отриманої точки, при виборі будь-якого кроку, призводить до зростання значення цільової функції. Якщо мінімум функції досягається всередині розглядуваної області, то в цій точці градієнт дорівнює нулю, що також може служити сигналом про закінчення процесу оптимізації.
Формули для частинних похідних можна отримати в явному вигляді лише в тому випадку, коли цільова функція задана аналітично. В іншому випадку ці похідні обчислюються за допомогою чисельного диференціювання:
Зауважимо, що знайти точку мінімуму функції можна також шляхом зведення багатовимірної задачі оптимізації до послідовності одновимірних задач на кожному кроці оптимізації. Такий спосіб називається методом покоординатного спуску. Різниця полягає в тому, що у методі градієнтного спуску напрямок оптимізації визначається градієнтом цільової функції, тоді як у методі покоординатного спуску проводиться спуск на кожному кроці вздовж одного з координатних напрямків.
Блок-схема програмної реалізації методу градієнтного спуску для функції двох змінних:
