Метод Найменших Квадратів: Апроксимація Функції За Експериментальними Даними

Під час експериментів значення функції часто відомі лише в окремих точках, а отримані дані можуть містити похибки вимірювань. У такій ситуації не завжди доцільно будувати функцію, яка точно проходить через кожну задану точку. Метод найменших квадратів дає змогу знайти залежність, яка в цілому найкраще описує наявні дані, а практичні приклади допоможуть побачити, як цей підхід застосовується для побудови апроксимуючих поліномів і знаходження наближених значень функції.

Апроксимація Експериментальних Даних: Постановка Задачі

Нехай у результаті наукового або інженерного експерименту отримано систему точок

\[ (x_0,y_0),\quad(x_1,y_1),\quad\dots,\quad(x_n,y_n). \]

Кожному значенню \( x_i \) відповідає експериментальне значення \( y_i \), де

\[ i=0,1,\dots,n. \]

Потрібно знайти наближену функцію

\[ y=f(x), \]

значення якої в заданих точках якомога менше відрізняються від експериментальних значень \( y_i \).

На перший погляд така задача нагадує інтерполяцію. Проте між інтерполяцією та апроксимацією є важлива відмінність. Інтерполяційний поліном повинен точно проходити через усі задані точки:

\[ P(x_i)=y_i. \]

Для апроксимуючої функції така умова не є обов’язковою. У загальному випадку її значення в точках \( x_i \) можуть відрізнятися від заданих значень:

\[ P(x_i)\ne y_i. \]

Це особливо важливо під час роботи з експериментальними даними. Через похибки вимірювань окремі точки можуть відхилятися від загальної закономірності, тому функція, яка точно проходить через кожну з них, не завжди найкраще описує досліджувану залежність.

Отже, задача апроксимації полягає в тому, щоб побудувати функцію, яка не обов’язково відтворює кожне значення точно, але достатньо добре описує весь набір даних.

Апроксимуючий Поліном: Вибір Наближеної Залежності

Як апроксимуючу функцію можна використовувати різні математичні залежності. У цьому матеріалі розглянемо поліноміальну апроксимацію, тобто шукатимемо наближену функцію у вигляді полінома степеня \( m \), де \( m<n \):

\[ P_m(x)=a_0+a_1\cdot x+a_2\cdot x^2+\dots+a_m\cdot x^m. \]

Тут \( a_0,a_1,\dots,a_m \) — невідомі коефіцієнти, які потрібно визначити за заданими експериментальними даними.

У точці \( x_i \) значення апроксимуючого полінома дорівнює

\[ P_m(x_i)=a_0+a_1\cdot x_i+a_2\cdot x_i^2+\dots+a_m\cdot x_i^m. \]

Порівняємо його з відповідним експериментальним значенням \( y_i \). Різницю

\[ P_m(x_i)-y_i \]

можна розглядати як відхилення апроксимуючої функції від заданих даних у точці \( x_i \).

Якщо таких точок багато, виникає природне питання: як оцінити якість апроксимації відразу для всього набору даних? Для цього потрібен критерій, який одночасно враховує всі ці відхилення.

Метод Найменших Квадратів: Критерій Якості Апроксимації

Окремі відхилення можуть бути як додатними, так і від’ємними. Якщо просто знайти їх суму, значення з різними знаками можуть частково або повністю компенсувати одне одного. У такому разі мала сума ще не означатиме, що апроксимуюча функція добре описує дані.

Щоб уникнути такої компенсації, у методі найменших квадратів використовують квадрати відхилень. Для всіх заданих точок утворимо суму

\[ S=\sum_{i=0}^{n}\left(P_m(x_i)-y_i\right)^2. \]

Підставивши вираз для апроксимуючого полінома, отримаємо

\[ S=\sum_{i=0}^{n}\left(a_0+a_1\cdot x_i+a_2\cdot x_i^2+\dots+a_m\cdot x_i^m-y_i\right)^2. \]

Величина \( S \) характеризує загальне відхилення апроксимуючого полінома від експериментальних даних. Чим менше її значення, тим краще поліном узгоджується із заданими точками.

Отже, потрібно визначити коефіцієнти \( a_0,a_1,\dots,a_m \), за яких сума квадратів відхилень набуває найменшого значення. Для цього перейдемо до умов мінімуму функції \( S \).

Мінімізація Суми Відхилень: Побудова Нормальної Системи Рівнянь

Функція \( S \) залежить від невідомих коефіцієнтів \( a_0,a_1,\dots,a_m \). Щоб знайти її мінімум, обчислимо частинні похідні за кожним із цих коефіцієнтів та прирівняємо їх до нуля:

\[ \left\{ \begin{array}{l} \dfrac{\partial S}{\partial a_0}=0,\\[6pt] \dfrac{\partial S}{\partial a_1}=0,\\[6pt] \vdots\\[6pt] \dfrac{\partial S}{\partial a_m}=0. \end{array} \right. \]

Розпишемо ці умови детальніше:

\[ \left\{ \begin{array}{l} \dfrac{\partial S}{\partial a_0} =2\cdot\displaystyle\sum_{i=0}^{n} \left(a_0+a_1\cdot x_i+a_2\cdot x_i^2+\cdots+a_m\cdot x_i^m-y_i\right)=0,\\[8pt] \dfrac{\partial S}{\partial a_1} =2\cdot\displaystyle\sum_{i=0}^{n} \left(a_0+a_1\cdot x_i+a_2\cdot x_i^2+\cdots+a_m\cdot x_i^m-y_i\right)\cdot x_i=0,\\[8pt] \vdots\\[8pt] \dfrac{\partial S}{\partial a_m} =2\cdot\displaystyle\sum_{i=0}^{n} \left(a_0+a_1\cdot x_i+a_2\cdot x_i^2+\cdots+a_m\cdot x_i^m-y_i\right)\cdot x_i^m=0. \end{array} \right. \]

За відповідних умов щодо заданих точок розв’язок отриманої системи визначає коефіцієнти, за яких функція \( S \) набуває мінімального значення.

Спільний множник \( 2 \) можна скоротити, оскільки він не впливає на розв’язок системи. Після цього розкриємо суми та згрупуємо доданки за невідомими коефіцієнтами \( a_0,a_1,\dots,a_m \).

У результаті отримаємо систему нормальних рівнянь методу найменших квадратів:

\[ \left\{ \begin{array}{l} (n+1)\cdot a_0+a_1\cdot\displaystyle\sum_{i=0}^{n}x_i+a_2\cdot\displaystyle\sum_{i=0}^{n}x_i^2+\cdots+a_m\cdot\displaystyle\sum_{i=0}^{n}x_i^m=\displaystyle\sum_{i=0}^{n}y_i,\\[8pt] a_0\cdot\displaystyle\sum_{i=0}^{n}x_i+a_1\cdot\displaystyle\sum_{i=0}^{n}x_i^2+a_2\cdot\displaystyle\sum_{i=0}^{n}x_i^3+\cdots+a_m\cdot\displaystyle\sum_{i=0}^{n}x_i^{m+1}=\displaystyle\sum_{i=0}^{n}y_i\cdot x_i,\\[8pt] \vdots\\[8pt] a_0\cdot\displaystyle\sum_{i=0}^{n}x_i^m+a_1\cdot\displaystyle\sum_{i=0}^{n}x_i^{m+1}+a_2\cdot\displaystyle\sum_{i=0}^{n}x_i^{m+2}+\cdots+a_m\cdot\displaystyle\sum_{i=0}^{n}x_i^{2\cdot m}=\displaystyle\sum_{i=0}^{n}y_i\cdot x_i^m. \end{array} \right. \]

Усі суми, що містять \( x_i \) та \( y_i \), обчислюються за заданими експериментальними даними. Після їх обчислення отримуємо систему лінійних алгебраїчних рівнянь відносно невідомих коефіцієнтів \( a_0,a_1,\dots,a_m \).

Розв’язавши цю систему, визначимо коефіцієнти апроксимуючого полінома

\[ P_m(x)=a_0+a_1\cdot x+a_2\cdot x^2+\dots+a_m\cdot x^m. \]

Розв’язок нормальної системи визначає поліном, який найкраще узгоджується із заданими даними за критерієм найменших квадратів. Розглянемо, як ця схема застосовується на практиці.

Метод Найменших Квадратів: Практичні Приклади Апроксимації Функції

Тепер застосуємо отриману нормальну систему до конкретних наборів даних. Спочатку побудуємо поліном першого степеня, далі розглянемо квадратичну апроксимацію, а потім використаємо знайдену залежність для наближеного обчислення значення функції.

Приклад 1. Методом найменших квадратів знайти поліном першого степеня, який апроксимує таблично задану функцію

\( i \)	\( x_i \)	\( y_i \)
\( 0 \)	\( 1 \)	\( 3 \)
\( 1 \)	\( 2 \)	\( 3 \)
\( 2 \)	\( 3 \)	\( 6 \)

Шукатимемо апроксимуючу функцію у вигляді

\[ P_1(x)=a_0+a_1\cdot x. \]

Для полінома першого степеня система нормальних рівнянь має вигляд

\[ \left\{ \begin{array}{l} 3\cdot a_0+a_1\cdot\sum x_i=\sum y_i,\\[6pt] a_0\cdot\sum x_i+a_1\cdot\sum x_i^2=\sum x_i\cdot y_i. \end{array} \right. \]

Обчислимо необхідні суми:

\[ \begin{gathered} \sum x_i=1+2+3=6,\\[4pt] \sum x_i^2=1^2+2^2+3^2=14,\\[4pt] \sum y_i=3+3+6=12,\\[4pt] \sum x_i\cdot y_i=1\cdot3+2\cdot3+3\cdot6=27. \end{gathered} \]

Підставимо отримані значення в систему нормальних рівнянь:

\[ \left\{ \begin{array}{l} 3\cdot a_0+6\cdot a_1=12,\\[6pt] 6\cdot a_0+14\cdot a_1=27. \end{array} \right. \]

Помножимо перше рівняння на \( 2 \):

\[ 6\cdot a_0+12\cdot a_1=24. \]

Віднімемо його від другого рівняння:

\[ 2\cdot a_1=3. \]

Звідси

\[ a_1=1.5. \]

Підставимо знайдене значення в перше рівняння:

\[ \begin{gathered} 3\cdot a_0+6\cdot1.5=12,\\[4pt] 3\cdot a_0=3,\\[4pt] a_0=1. \end{gathered} \]

Отже, шуканий апроксимуючий поліном має вигляд

\[ P_1(x)=1+1.5\cdot x. \]

Приклад 2. Методом найменших квадратів знайти поліном другого степеня для таблично заданої функції

\( i \)	\( x_i \)	\( y_i \)
\( 0 \)	\( -2 \)	\( 5 \)
\( 1 \)	\( -1 \)	\( 2 \)
\( 2 \)	\( 0 \)	\( 1 \)
\( 3 \)	\( 1 \)	\( 2 \)
\( 4 \)	\( 2 \)	\( 4 \)

Шукатимемо апроксимуючу функцію у вигляді

\[ P_2(x)=a_0+a_1\cdot x+a_2\cdot x^2. \]

Для полінома другого степеня система нормальних рівнянь має вигляд

\[ \left\{ \begin{array}{l} 5\cdot a_0+a_1\cdot\sum x_i+a_2\cdot\sum x_i^2=\sum y_i,\\[6pt] a_0\cdot\sum x_i+a_1\cdot\sum x_i^2+a_2\cdot\sum x_i^3=\sum x_i\cdot y_i,\\[6pt] a_0\cdot\sum x_i^2+a_1\cdot\sum x_i^3+a_2\cdot\sum x_i^4=\sum x_i^2\cdot y_i. \end{array} \right. \]

Спочатку обчислимо суми степенів \( x_i \):

\[ \begin{gathered} \sum x_i=-2-1+0+1+2=0,\\[4pt] \sum x_i^2=(-2)^2+(-1)^2+0^2+1^2+2^2=10,\\[4pt] \sum x_i^3=(-2)^3+(-1)^3+0^3+1^3+2^3=0,\\[4pt] \sum x_i^4=(-2)^4+(-1)^4+0^4+1^4+2^4=34. \end{gathered} \]

Тепер обчислимо суми, що містять значення \( y_i \):

\[ \begin{gathered} \sum y_i=5+2+1+2+4=14,\\[4pt] \sum x_i\cdot y_i=(-2)\cdot5+(-1)\cdot2+0\cdot1+1\cdot2+2\cdot4=-2,\\[4pt] \sum x_i^2\cdot y_i=4\cdot5+1\cdot2+0\cdot1+1\cdot2+4\cdot4=40. \end{gathered} \]

Підставимо отримані значення в систему нормальних рівнянь:

\[ \left\{ \begin{array}{l} 5\cdot a_0+10\cdot a_2=14,\\[6pt] 10\cdot a_1=-2,\\[6pt] 10\cdot a_0+34\cdot a_2=40. \end{array} \right. \]

Із другого рівняння знаходимо

\[ a_1=-0.2. \]

Для знаходження \( a_0 \) та \( a_2 \) використаємо перше та третє рівняння. Помножимо перше рівняння на \( 2 \):

\[ 10\cdot a_0+20\cdot a_2=28. \]

Віднімемо отримане рівняння від третього:

\[ 14\cdot a_2=12. \]

Звідси

\[ a_2\approx0.857. \]

Підставимо знайдене значення в перше рівняння:

\[ 5\cdot a_0+10\cdot0.857\approx14, \]

звідки

\[ a_0\approx1.086. \]

Отже, апроксимуючий поліном другого степеня має вигляд

\[ P_2(x)=1.086-0.2\cdot x+0.857\cdot x^2. \]

Приклад 3. Для заданих табличних даних методом найменших квадратів побудувати поліном першого степеня та за його допомогою наближено знайти значення функції при \( x=3 \)

\( i \)	\( x_i \)	\( y_i \)
\( 0 \)	\( 0 \)	\( 1.5 \)
\( 1 \)	\( 1 \)	\( 1 \)
\( 2 \)	\( 2 \)	\( 3.5 \)
\( 3 \)	\( 4 \)	\( 5 \)

Шукатимемо апроксимуючу функцію у вигляді

\[ P_1(x)=a_0+a_1\cdot x. \]

Оскільки побудову нормальної системи для полінома першого степеня вже розглянуто в попередньому прикладі, одразу обчислимо необхідні суми:

\[ \begin{gathered} \sum x_i=0+1+2+4=7,\\[4pt] \sum x_i^2=0^2+1^2+2^2+4^2=21,\\[4pt] \sum y_i=1.5+1+3.5+5=11,\\[4pt] \sum x_i\cdot y_i=0\cdot1.5+1\cdot1+2\cdot3.5+4\cdot5=28. \end{gathered} \]

Підставимо отримані значення в систему нормальних рівнянь:

\[ \left\{ \begin{array}{l} 4\cdot a_0+7\cdot a_1=11,\\[6pt] 7\cdot a_0+21\cdot a_1=28. \end{array} \right. \]

Щоб виключити \( a_0 \), помножимо перше рівняння на \( 7 \), а друге — на \( 4 \):

\[ \left\{ \begin{array}{l} 28\cdot a_0+49\cdot a_1=77,\\[6pt] 28\cdot a_0+84\cdot a_1=112. \end{array} \right. \]

Віднімемо перше рівняння від другого:

\[ 35\cdot a_1=35. \]

Звідси

\[ a_1=1. \]

Підставимо знайдене значення в перше рівняння:

\[ \begin{gathered} 4\cdot a_0+7=11,\\[4pt] 4\cdot a_0=4,\\[4pt] a_0=1. \end{gathered} \]

Отже, апроксимуючий поліном має вигляд

\[ P_1(x)=1+x. \]

Тепер використаємо знайдену залежність для обчислення наближеного значення функції при \( x=3 \):

\[ P_1(3)=1+3=4. \]

Отже,

\[ f(3)\approx4. \]

Інші Методи Наближення Функцій: Теми Для Продовження

Після знайомства з методом найменших квадратів варто розглянути інші способи наближення таблично заданих функцій. Наступні теми допоможуть порівняти різні підходи до обчислення значень функції між відомими вузлами.

1. Лінійна інтерполяція: Наближення функції між сусідніми вузлами — Дізнайтеся, як за двома сусідніми табличними значеннями побудувати лінійну залежність і наближено обчислити значення функції між ними.
2. Квадратична інтерполяція: Обчислення проміжних значень функції — Розгляньте, як за кількома вузлами побудувати квадратичний поліном і використати його для наближеного визначення проміжних значень.
3. Кубічна сплайн-інтерполяція: Наближення функції без різких зламів — Дізнайтеся, як кубічні сплайни поєднують окремі ділянки та утворюють гладку криву, що проходить через задані табличні точки.

Метод Найменших Квадратів: Від Блок-Схеми До Програмного Коду

Захоплюєтеся програмуванням? Тоді спробуйте реалізувати поданий на блок-схемі алгоритм своєю улюбленою мовою. Програма має зчитати табличні дані, побудувати апроксимуючий поліном методом найменших квадратів, знайти його коефіцієнти та обчислити значення в заданій точці. Pascal, Python, JavaScript чи C++ — вибір за вами. Так ви не лише перевірите розуміння алгоритму, а й побачите, як математичні обчислення перетворюються на готову програмну реалізацію.