Рефетека.ру / Эк.-мат. моделирование

Учебное пособие: Множественная регрессия и корреляция

Множественная регрессия и корреляция


Пусть требуется построить линейную модель зависимости некоторого выходного экономического показателя Множественная регрессия и корреляция, называемого объясняемой переменной от набора входных показателей Множественная регрессия и корреляция, называемых объясняющими переменными. Основным методом построения таких моделей является метод наименьших квадратов, смысл которого состоит в том, чтобы подобрать параметры модели, минимизирующие суммы квадратов отклонений модельных значений объясняемой переменной от истинных значений. Метод наименьших квадратов реализован во всех статистических пакетах программ, а также в средствах статистического пакета Анализа данных Microsoft Excel.

Пусть Множественная регрессия и корреляция - Множественная регрессия и корреляция наблюдений объясняемой переменной, а Множественная регрессия и корреляция - Множественная регрессия и корреляция наблюдений Множественная регрессия и корреляция объясняющих переменных. Задача состоит в построении по данной выборке линейной модели зависимости объясняемой переменной от вектора объясняющих переменных.


Множественная регрессия и корреляция.


Здесь Множественная регрессия и корреляция – коэффициенты модели, которые надо определить, а Множественная регрессия и корреляция - ошибка измерения модели.

Для адекватной работы метода наименьших квадратов требуется выполнение следующих гипотез:

Множественная регрессия и корреляция. (спецификация модели).

Множественная регрессия и корреляция -детерминированные величины, причем в матрице

Множественная регрессия и корреляция


столбцы линейно независимые, т.е. ранг этой матрицы равен Множественная регрессия и корреляция.

Множественная регрессия и корреляция - случайная величина, удовлетворяющая условиям

3а. Множественная регрессия и корреляция, математическое ожидание ошибки равно нулю;

3b. Множественная регрессия и корреляция, дисперсия ошибки не зависит от номера наблюдения;

3с. Множественная регрессия и корреляция, т.е. ошибки разных наблюдений не зависят друг от друга.

Справедлива теорема Гаусса-Маркова, что при этих условиях метод наименьших квадратов дает наилучшую в некотором смысле модель. Если некоторые из условий не выполняются, то приходится использовать более сложные методы.

В результате применения метода наименьших квадратов находятся оценки коэффициентов модели Множественная регрессия и корреляция. По этим оценкам и по значениям объясняющих переменных Множественная регрессия и корреляция строятся модельные значения объясняемой переменной Множественная регрессия и корреляция. Обозначим через Множественная регрессия и корреляция отклонение истинного значения объясняемой переменной от модельного для Множественная регрессия и корреляция-го наблюдения (Множественная регрессия и корреляция). Качество модели оценивается через сумму квадратов отклонений модели


Множественная регрессия и корреляция.

Множественная регрессия и корреляция ( error sum of squares) называется суммой квадратов ошибок.

Метод наименьших квадратов состоит в том, что среди всех возможных наборов коэффициентов модели находится набор, минимизирующий Множественная регрессия и корреляция.

Если все коэффициенты модели, кроме константы Множественная регрессия и корреляция, равны нулю, то Множественная регрессия и корреляция - среднему значению объясняемой переменной. Тогда сумма квадратов отклонений равна


Множественная регрессия и корреляция.


Множественная регрессия и корреляция ( total sum of squares) называется общей суммой квадратов.

За счет того, что не все коэффициенты модели равны нулю, сумма квадратов отклонений уменьшается. В соответствии с этим величина


Множественная регрессия и корреляция


означает объясненную сумму квадратов (regression sum of squares).

После получения оценок Множественная регрессия и корреляция необходимо определить, все ли из них значимо отличаются от нуля, так как, если коэффициент равен нулю, это означает, что соответствующая объясняющая переменная не участвует в модели. Коэффициент значим, если гипотезу его равенства нулю надо отвергнуть. Соответственно значимостью коэффициента называется вероятность того, что его знак совпадает со знаком его оценки.

Для полученной модели необходимо уметь определять, можно ли отбросить несколько входящих в нее объясняющих переменных или добавить переменные, не входящие в модель. С этой целью, проводят тест для определения какая модель лучше – «длинная» или «короткая». Также необходимо проверять однородность модели для разных наборов переменных. Для этого предназначен тест Чоу. Для оценки адекватности модели надо проверять тесты на выполнение условий теоремы Гаусса-Маркова.


Тест на выбор «длинной» или «короткой» регрессии


Данный тест используется для отбора наиболее существенных объясняющих переменных. Например, переход от большого числа исходных показателей состояния анализируемой системы к меньшему числу наиболее информативных переменных может быть обусловлен дублированием информации, доставляемой сильно взаимосвязанными признаками или неинформативностью признаков, мало меняющихся при переходе от одного объекта к другому. Так, если две какие-либо объясняющие переменные сильно коррелированы с результирующим показателем Множественная регрессия и корреляция и друг с другом, то часто бывает достаточно включения в модель одной из них, а дополнительным вкладом от включения другой можно пренебречь.

Пусть Множественная регрессия и корреляция. Предположим, что модель не зависит от последних Множественная регрессия и корреляция объясняющих переменных и их можно исключить из модели. Это соответствует гипотезе


Множественная регрессия и корреляция,


т.е. последние Множественная регрессия и корреляция коэффициентов Множественная регрессия и корреляция равны Множественная регрессия и корреляция.

Тест по проверке данной гипотезы состоит в следующем:

1. Построить по МНК «длинную» (unrestricted) регрессию по всем параметрам Множественная регрессия и корреляция и найти для нее Множественная регрессия и корреляция.

2. Используя МНК, построить «короткую» (restricted) регрессию по первым Множественная регрессия и корреляция параметрам Множественная регрессия и корреляция и найти для нее Множественная регрессия и корреляция.

3. Вычислить F-статистику:


Множественная регрессия и корреляция


4. Найти критическую точку распределения Фишера при выбранном уровне значимости Множественная регрессия и корреляция: Множественная регрессия и корреляция.

5. Если Множественная регрессия и корреляция, то гипотеза Множественная регрессия и корреляцияотвергается, т.е. следует использовать «длинную» модель.

Если Множественная регрессия и корреляция, то гипотеза Множественная регрессия и корреляция принимается, т.е. лучше «короткая» модель.


Тест Чоу на однородность зависимости объясняемой переменной от объясняющих


На практике нередки случаи, когда имеются две выборки пар значений зависимой и объясняющей переменных Множественная регрессия и корреляция. Например, одна выборка пар значений переменных объемом Множественная регрессия и корреляция получена при одних условиях, а другая, объемом Множественная регрессия и корреляция, - при несколько измененных условиях. Необходимо выяснить, действительно ли две выборки однородны в регрессионном смысле? Другими словами, можно ли объединить две выборки в одну и рассматривать единую модель регрессии Множественная регрессия и корреляция по Множественная регрессия и корреляция (гипотеза Множественная регрессия и корреляция)?

Для проверки гипотезы Множественная регрессия и корреляцияприменяется тест Чоу (Chow), состоящий в следующем:

1. Используя МНК, построить модель по выборке объемом Множественная регрессия и корреляция и найти для нее Множественная регрессия и корреляция.

2. Пусть есть основание предполагать, что вся выборка состоит из двух подвыборок объемами Множественная регрессия и корреляция и Множественная регрессия и корреляция соответственно. Для каждой из них строится линейная регрессия.Множественная регрессия и корреляция - сумма квадратов отклонений значений Множественная регрессия и корреляцияот регрессионных значений Множественная регрессия и корреляция, посчитанных по первой подвыборке, Множественная регрессия и корреляция – сумма квадратов отклонений значений Множественная регрессия и корреляцияот регрессионных значений Множественная регрессия и корреляция, посчитанных по второй подвыборке.


Множественная регрессия и корреляция


3. Вычислить F – статистику:


Множественная регрессия и корреляция ,


где Множественная регрессия и корреляция – число объясняющих переменных модели.

4. Найти критическую точку распределения Фишера при выбранном уровне значимости Множественная регрессия и корреляция.

5. Если Множественная регрессия и корреляция, то мы можем объединить две выборки в одну. Если Множественная регрессия и корреляция, то необходимо использовать две модели.


Тесты на гетероскедастичность


Гомоскедастичность – дисперсия каждого отклонения Множественная регрессия и корреляцияодинакова для всех значений Множественная регрессия и корреляция.

Гетероскедастичность – дисперсия объясняемой переменной (следовательно, и случайных ошибок) непостоянна.

В тестах на гетероскедастичность проверяется основная гипотеза Множественная регрессия и корреляция (т.е. модель гомоскедастична) против альтернативной гипотезы Множественная регрессия и корреляция: не Множественная регрессия и корреляция (т.е. модель гетероскедастична).


Тест Гольдфельда – Куандта (Goldfeld - Quandt)


Этот тест применяется, как правило, когда есть предположение о прямой зависимости дисперсии ошибок от величины некоторой объясняющей переменной, входящей в модель.

Предполагается, что Множественная регрессия и корреляция имеет нормальное распределение. Тест включает в себя следующие шаги:

1. Упорядочить данные по убыванию (или по возрастанию) той независимой переменной, относительно которой есть подозрение на гетероскедастичность.

2. Исключить Множественная регрессия и корреляция средних (в этом упорядочении) наблюдений (Множественная регрессия и корреляция, где Множественная регрессия и корреляция – общее количество наблюдений).

3. Провести две независимых регрессии первых Множественная регрессия и корреляциянаблюдений и последних Множественная регрессия и корреляция наблюдений и найти, соответственно, Множественная регрессия и корреляция и Множественная регрессия и корреляция. Из Множественная регрессия и корреляция и Множественная регрессия и корреляция выбираем большую и меньшую величины, соответственно, Множественная регрессия и корреляция и Множественная регрессия и корреляция.

4. Составить статистику Множественная регрессия и корреляция и найти по распределению Фишера Множественная регрессия и корреляция, где Множественная регрессия и корреляция – число объясняющих переменных модели.

5. Если Множественная регрессия и корреляция, то гипотеза Множественная регрессия и корреляцияотвергается, т.е. модель гетероскедастична, а если Множественная регрессия и корреляция, то гипотеза Множественная регрессия и корреляция принимается, т.е. модель гомоскедастична.


Тест Бреуша – Пагана (Breusch - Pagan)


Этот тест применяется в тех случаях, когда предполагается, что дисперсии Множественная регрессия и корреляция зависят от некоторых дополнительных переменных. Пусть Множественная регрессия и корреляция, Множественная регрессия и корреляция. Тест состоит в следующем:

1. Провести обычную регрессию и получить Множественная регрессия и корреляция. (Для этого в диалоговом окне Регрессия установить флажок на функцию Остатки)

2. Построить оценку Множественная регрессия и корреляция.

3. Провести регрессию Множественная регрессия и корреляция и найти для нее объясненную часть вариации Множественная регрессия и корреляция.

4. Построить статистику Множественная регрессия и корреляция.

5. Если Множественная регрессия и корреляция (где p – число переменных, от которых зависит Множественная регрессия и корреляция), то имеет место гетероскедастичность.

Если Множественная регрессия и корреляция, то - гомоскедастичность.

Множественная регрессия и корреляция- критическая точка распределения Множественная регрессия и корреляция (хи-квадрат) при выбранном уровне значимости Множественная регрессия и корреляция, для нахождения которой выполнить следующую последовательность действий: fxМножественная регрессия и корреляция СтатистическиеМножественная регрессия и корреляция ХИ2ОБР


Множественная регрессия и корреляция


Тест Дарбина – Уотсона (Darbin-Watson) на наличие автокорреляции


Этот тест используется для обнаружения автокорреляции первого порядка, т.е. проверяется некоррелированность не любых, а только соседних величин Множественная регрессия и корреляция. Соседними обычно считаются соседние во времени (при рассмотрении временных рядов) или по возрастанию объясняющей переменной Множественная регрессия и корреляция значения Множественная регрессия и корреляция.


Множественная регрессия и корреляция


Гипотеза Множественная регрессия и корреляция(автокорреляция отсутствует).

Общая схема критерия Дарбина – Уотсона следующая:

1. По эмпирическим данным построить уравнение регрессии по МНК и определить значения отклонений Множественная регрессия и корреляция для каждого наблюдения t (t =  1, 2, …, n).

2. Рассчитать статистику DW:


Множественная регрессия и корреляция


3. По таблице критических точек распределения Дарбина –Уотсона для заданного уровня значимости Множественная регрессия и корреляция, числа наблюдений Множественная регрессия и корреляция и количества объясняющих переменных Множественная регрессия и корреляция определить два значения: Множественная регрессия и корреляция - нижняя граница и Множественная регрессия и корреляция - верхняя граница (таблица 2).

Полный вариант таблицы приведен в разделе Математико-статистические таблицы (Таблица 5. Значения dH и dB критерия Дарбина—Уотсона на уровне значимости  = 0,05 (n — число наблюдений, р — число объясняющих переменных). множественный корреляция регрессия


Таблица 2.

Статистика Дарбина – Уотсона, уровень значимости 0,05

Множественная регрессия и корреляция

1 2 3 4 5

Множественная регрессия и корреляция

Множественная регрессия и корреляция

Множественная регрессия и корреляция

Множественная регрессия и корреляция

Множественная регрессия и корреляция

Множественная регрессия и корреляция

Множественная регрессия и корреляция

Множественная регрессия и корреляция

Множественная регрессия и корреляция

Множественная регрессия и корреляция

Множественная регрессия и корреляция

20 1,20 1,41 1,1 1,54 1,00 1,67 0,90 1,83 0,79 1,99
21 1,22 1,42 1,13 1,54 1,03 1,66 0,93 1,81 0,83 1,96
22 1,24 1,43 1,15 1,54 1,05 1,66 0,96 1,80 0,86 1,94
23 1,26 1,44 1,17 1,54 1,08 1,66 0,99 1,79 0,90 1,92
24 1,27 1,45 1,19 1,55 1,10 1,66 1,01 1,78 0,93 1,90
25 1,29 1,45 1,21 1,55 1,12 1,66 1,04 1,77 0,95 1,89

4. Сделать выводы по правилу:

Множественная регрессия и корреляция - существует положительная автокорреляция (Множественная регрессия и корреляция), Множественная регрессия и корреляция отвергается;

Множественная регрессия и корреляция- вывод о наличии автокорреляции не определен;

Множественная регрессия и корреляция- автокорреляция отсутствует, Множественная регрессия и корреляция принимается;

Множественная регрессия и корреляция- вывод о наличии автокорреляции не определен;

Множественная регрессия и корреляция- существует отрицательная автокорреляция (Множественная регрессия и корреляция), Множественная регрессия и корреляция отвергается.


Рефетека ру refoteka@gmail.com