1. Метод найменших квадратів

1.1 Задача про пошуки параметрів

2. Означення метода найменших квадратів

Література

1. Метод найменших квадратів

1.1 Задача про пошуки параметрів

При експериментальному вивченні функціональної залежності однієї величини виконують вимірювання величини при різних значеннях величини . Задача полягає в аналітичному представленні шуканої функціональної залежності, тобто необхідно підібрати формулу, яка описала б результати експерименту. Наприклад для проведення прямої достатньо двох точок і , якщо ці точки відомі точно. Але за наявністю „шуму” в експерименті необхідно взяти декілька десятків точок.

Емпіричну формулу вибирають із формул визначеного типу, наприклад: , , . Іншими словами, задача полягає у визначенні параметрів формули, в той час, як вигляд формули відомий. Позначимо вибрану функціональну залежність через

(1)

з явною вказівкою на параметри, які необхідно визначити. Ці параметри не можна визначити точно за емпіричними значеннями функції , так як останні мають випадкові похибки. При цьому передбачається, що вимірювання значень функції проведенц незалежно один від одного і що похибки вимірювання підпорядковуються нормальному закону розподілу ймовірностей.

2. Означення метода найменших квадратів

Якщо всі вимірювання значень функції виконані з однаковою точністю, то оцінки параметрів визначаються із умови, щоб сума квадратів відхилень виміряних значень від розрахункових , тобто є величина:

(2)

Сума квадратів відхилень фактичних (дослідних) даних приймала найменше значення від вирівняних.

Якщо вимірювання виконані з різними дисперсіями ( не рівно точні), але відомі відношення дисперсій різних вимірювань, тоді сума замінюється сумою:

(3)

де множники називається вагою вимірювання, обернено пропорційні дисперсіям: .

Якщо всі вимірювання значень функції проводяться з однаковою точністю, але при кожному значенні аргумента вимірювань серія вимірювань, а в якості береться середнє арифметичне результатів вимірювань в серії, то вагою вимірювання можуть бути кількість вимірювань в серіях .

Сформульована вище умова зберігається і для визначення оцінок параметрів функції декількох змінних. Наприклад, для функції від двох змінних оцінки параметрів визначається з умови перетворення в мінімум суми

(4).

Відшукування тих значень параметрів , які дають найменше значення функції полягає у розв’язку системи рівнянь

(5).

Нехай в процесі певного дослідження ми отримали такі дані:

Таблиця 1

x	x1	x2	x3	…	…	xn
y	y1	y2	y3	…	…	yn

Виходячи із змісту розглядуваних явищ, припускаємо, що між цими величинами існує певна функціональна залежність . Метод найменших квадратів (метод Гауса) полягає в тому, що треба знайти такі параметри функціональної залежності , щоб сума квадратів відхилень фактичних даних від вирівняних була найменшою (рис. 1).

Рис. 1

(6)

де - фактичні (дослідні) значення;

- вирівняні значення.

Застосуємо цей метод для визначення параметрів функціональних залежностей.

а) Нехай між даними прямопропорційна залежність, тобто теоретична крива, за допомогою якої будемо вирівнювати емпіричну залежність між цими величинами має такий вигляд:

(7)

Тоді (6) запишеться у вигляді:

.

Як видно, ця сума залежить від . Вона буде мінімальна тоді, коли похідна по змінній дорівнює нулю, тобто:

Скоротимо це рівняння на -2:

;

,

звідки

.

Підставимо значення в рівняння (7), дістанемо:

. (8)

б) Нехай функціональна залежність має такий вигляд: . Підставивши в рівняння (6) замість відповідно , дістанемо: . У цій формулі невідомі коефіцієнти і . Знайдемо значення і , при яких функція матиме мінімальне значення. Щоб знайти ці значення, візьмемо частинні похідні по і та приведемо їх до нуля. Розв’язок здобутої системи рівнянь дає ті значення, при яких дана сума мінімальна.

Скоротимо обидва рівняння на -2 і зробимо такі перетворення:

Враховуючи, що , дістанемо:

(9)

Опустивши індекси перепишемо систему (9.9) так:

(10)

Одержана система рівнянь називається нормальною системою Гауса. Розв’язавши її знайдемо значення і .

; (11)

; (12)

в) Нехай функціональна залежність має такий вигляд: . Формула (9.6) в цьому випадку запишеться так:

.

Щоб знайти значення коефіцієнтів , і , при яких функція мінімальна, знаходимо часткові похідні по , і від і прирівнюємо їх до нуля. Розв’язання одержаної системи трьох рівнянь і дають нам значення , і , при яких буде мінімальним:

Прирівнявши ці похідні до нуля і зробивши відповідні перетворення, будемо мати:

(13)

Систему (9.13) запишемо без індексів:

(14)

Розв’язок цієї системи , і - це ті значення коефіцієнтів рівняння зв’язку другого степеня , при яких сума квадратів відхилень фактичних даних від вирівняних буде мінімальною.

, (15).

де

, (16)

, (17)

.

г) Аналогічно складається система нормальних рівнянь тоді коли зв’язок між ознаками близький до оберненого і досить добре виражається залежністю . Система нормальних рівнянь для цього випадку буде такою:

(18)

Вирівнювання за показниковою (експонентною) функцією проводиться тоді коли ознаки з більш-менш сталим відносним приростом. Вирівнювання проводиться за формулою . В цьому випадку параметри і визначаються за методом найменших квадратів відхилень логарифмів розв’язуванням системи нормальних рівнянь:

(19)

Приклад

На основі вихідних даних, взятих із таблиці, згідно зі своїм варіантом, побудувати математичну модель, використовуючи метод найменших квадратів.

x	0,6	1,2	1,5	2,0	3,0
y	5	8	10	12	16

Знаходимо впіввідношення

; ; ; ;

Середнє арифметичне усіх чисел становить

;

За формулою знаходимо:

Отже, залежність між y та x описується рівнянням:

y = 2,58x ;

Література

1. Белый И.В. и др. Основы научных исследований и технического творчества / И.В. Белый, К.П. Власов, В.Б. Клепиков. – Х.: Вища шк. Изд-во при Харьк. ун-те, 1989 - 200 с.

2. Белуха Н.Т. Основы научных исследований в экономике. - К.: Вища шк. Головное изд-во, 1985. - 215 с.

3. Вознюк С.Т. и др. Основы научных исследований. Гидромелиорация / Вознюк С.Т., Гончаров С.М., Ковалев С.В. - К.: Вища шк. Головное издательство, 1985 - 192 с.

4. Воловик П.М. Теорія імовірностей і математична статистика в педагогіці -Х.: Вища шк., 1969 - 222 с.

5. Гмурман В.Е. Теория вероятностей и математическая статистика. Изд. 4-е - М.: Высшая школа, 1972. – 367 с.

6. Митропольский А.К. Техника статистических вычислений. М.: Наука, 1971, 576 с.

7. Нечаев Ю.И. Основы научных исследований - Киев, Одесса: Вища шк. Головное изд-во, 1983, - 160 с.

8. Румшиский Л.Э. Математическая обработка результатов эксперимента. М.: Наука, 1971 - 192 с.

9. Сиденко В.М. Грушко И.М. Основы научных исследований. Харьков. Вища шк, 1977 - 240 с.

10. Сытник В.Ф. Основы научных исследований. К.: Вища шк. Головное изд-во. 1978 - 184 с.