06 | 12 | 2016
Экономика
Литература

Линейная модель множественной регрессии

1 1 1 1 1 1 1 1 1 1 Рейтинг 3.75 (2 Голоса)

Рассматриваемая ниже линейная модель составляет основу эконометрики. Базируясь на определенном наборе допущений, изложим основополагающую процедуру эконометрического оценивания параметров этой модели - Метод наименьших квадратов (МНК). Значительная часть стандартного курса эконометрики посвящена адаптации этого метода к ситуациям, в которых одна или несколько так называемых классических предпосылок не работают. Для того, чтобы предлагаемый обзор имел как можно более общий характер, далее в этой главе используется в основном матричная форма записи.

1.5.1. Классические допущения, МНК и теорема Гаусса—Маркова

Пусть процесс, порождающий значения наблюдаемой переменной , есть сумма линейной комбинации K объясняющих переменных , j = 1,…, K и случайного отклонения :

, T = 1,2,…,T, (1.21)

Где не известны.

Главная задача эконометрики состоит в том, чтобы получить “оптимальные” оценки неизвестных параметров зависимости (1.21). Имея исходный массив наблюдений , можно от системы соотношений (1.21) перейти к записи в матричной форме:

(1.22)

Где

Таким образом, У — вектор наблюдаемых значений зависимой (объясняемой) переменной размерности Т х 1; Х — матрица наблюдений объясняющих переменных («регрессоров») размерности — вектор неизвестных коэффициентов размерности ; U — вектор ненаблюдаемых случайных отклонений (регрессионных ошибок) размерности Т х 1 . Матрицу Х иногда также называют «матрицей плана».

В классической линейной регрессионной модели вводится ряд допущений, позволяющих установить различные свойства эконометрических оценок коэффициентов.

1. Все случайные отклонения имеют нулевые математические ожидания, одинаковые дисперсии а2 и являются взаимно некоррелированными:

2. Объясняющие переменные неслучайны и, таким образом, не зависят от случайных отклонений:

З. Объясняющие переменные линейно независимы:

И, следовательно, существует обратная матрица .

Важно отметить, что до сих пор не было сделано никаких допущений относительно характера статистического распределения случайных отклонений. Также не говорилось, что отклонения распределены независимо (т. е. не требовалось, чтобы функция плотности их совместного распределения была равна произведению функций плотности отдельных отклонений), хотя при условии нормальности распределения это свойство следует из нулевой корреляции.

Оценка по методу наименьших квадратов (МНК-оценка) для вектора является результатом минимизации суммы квадратов остатков, получаемых при подстановке вместо неизвестных коэффициентов произвольного набора конкретных числовых значений B:

(1.23)

Необходимые условия экстремума (условия первого порядка) для функции (1.23) примут вид:

Это выражение можно переписать в форме «нормальных уравнений»:

(1.24)

И, поскольку согласно допущению З матрица () невырожденная, то, решая уравнение (1.24) относительно B, получим оценку по методу наименьших квадратов:

(1.25)

Выражение (1.25) описывает решение задачи минимизации (1.23), поскольку в точке выполнены достаточные условия экстремума (условия второго порядка):

,

Где — положительно определенная матрица.

Поскольку элементы матрицы Х фиксировании, выражение можно интерпретировать как линейную функцию, которая отображает («проектирует») любой вектор Y из Т-мерного пространства в вектор из K-мерного пространства:

Соответственно, матрицу часто называют проекционной матрицей . Полезно отметить, что РX X = 1. Очевидно, что оценка — линейная функция от Y. Она также является несмещенной в том смысле, что математическое ожидание оценки равно вектору истинных значений оцениваемых параметров :

(1.26)

В сделанных преобразованиях использовано выражение РXХ = 1 а также допущение 2 (о не случайности объясняющих переменных). Из уравнения (1.26) следует, что является также линейной функцией ошибок U.

Ковариационная матрица вектора оценок легко вычисляется с помощью выражения =+Pxu:

(1.27)

В преобразованиях использованы допущения 1 и 3.

Можно показать, что при выполнении допущений 1—З для любой другой линейной несмещенной оценки вектора коэффициентов «дисперсия» превосходит «дисперсию> в том смысле, что [Var() - Уаг()] — неотрицательно определенная матрица (теорема Гаусса—Маркова). действительно, поскольку — линейная оценка, ее можно записать в виде = АY, где А — матрица констант размерности .

Пусть , тогда очевидно, что

Таким образом,

Следовательно, поскольку оценка должна быть несмещенной, то СХ = 0. Тогда

Следовательно,

Итак, Var() превышает Var() на неотрицательно определенную матрицу. В частности, диагональные элементы матрицы неотрицательны, поэтому выполняются неравенства:

Таким образом, при выполнении допущений 1—З каждая из МНК-оценок является наилучшей (имеет наименьшую дисперсию) в классе несмещенных линейных оценок параметра .

1.5.2. Качество модели: коэффициент детерминации и дисперсия отклонений

Получив МНК-оценку, мы можем представить вектор , сумму «объясненной» составляющей и «необъясненной» составляющей :

(1.28)

Один из способов определить, насколько хорошо предложенная модель согласуется с наблюдёнными значениями, состоит в том, чтобы рассчитать долю вариации Y, объясняемую вариацией , и необъясняемую долю, связанную с вариацией остатков . В качестве одной из мер разброса можно использовать — сумму квадратов значений . Пользуясь уравнением (1.28), получим

(1.29)

С помощью МНК-оценки строится вектор остатков = Y - X, который, как легко показать, ортогонален к объясняющим переменным:

Отсюда следует, что последний элемент в уравнении (1.29) равен нулю. Таким образом, величина может быть разбита на две составляющие, одна из которых выражена через объясняющие переменные, а другая не объясняется моделью:

(1.30)

Однако обычно принято измерять разброс значений переменной вокруг ее среднего. Введем соответствующий показатель для переменной У — общую сумму квадратов отклонений (TSS, Total Sum Of Squares):

Где , тогда

Вычитая из выражения (1.30), получим

(1.31)

Если модель содержит свободный член, то для всех значений T, и первая строка системы нормальных уравнений (1.24) примет вид:

,

Где ,

Тогда .

Таким образом, первое слагаемое из правой части уравнения (1.31), стоящее в скобках, измеряет разброс значений объясняемой части Y, т. е. , вокруг своего среднего значения или объясненную сумму квадратов отклонений (ESS, Explained Sum Of Squares). Легко показать, что остатки, полученные с помощью МНК, имеют нулевое среднее значение, поэтому второй член, стоящий справа в уравнении (1.31), отражает разброс значений необъясняемой моделью части Y т. е. , вокруг своего нулевого среднего или необъясненную (остаточную) сумму квадратов (USS, Unexplained Sun Of Squares):

TSS = ESS + USS (1.32)

Где

Коэффициент детерминации, или R2, измеряет долю объясненной дисперсии (ESS) в общей дисперсии (TSS) зависимой переменной:

(1.33)

Очевидно, что . Коэффициент R2 показывает качество подгонки модельных значений , к фактически наблюдённым значениям . Чем R2 ближе к единице, тем лучше подгонка по модели регрессии.

С ростом числа регрессоров коэффициент детерминации R2 не может убывать, в большинстве случаев он возрастает. В этом плане R2 не совсем удобен при сравнении нескольких регрессионных уравнений. Последнее является основанием для рассмотрения подправленного (adjusted) коэффициента детерминации , в котором делается корректировка на число степеней свободы, «неучтенных» при конструировании степеней свободы используют для коррекции величины ESS (по числу параметров, которые потребовалось оценить для его вычисления) и одну степень свободы — при расчете ТSS (из-за наличия величины, оценивающей среднее значение У). Подправленный коэффициент детерминации задается формулой:

(1.34)

Или

1.5.3. Дисперсия отклонений

Несмещенная оценка дисперсии отклонений обычно обозначается как :

Докажем, что — действительно является несмещенной оценкой . Пусть , тогда

Таким образом, , где

Очевидно, что матрица М симметрична () и идемпотентна (). Следовательно, , откуда

(1.35)

Поскольку величина — скаляр, то она, очевидно, равна своему следу. Пользуясь свойствами следа, получим:

Поскольку , то

(1.36)

Таким образом, является несмещенной оценкой

Можно показать, что если из двух регрессионных моделей одна является истинной, то математическое ожидание , для истинной модели не превышает математического ожидания для альтернативной модели. действительно, пусть и является истинной моделью, а — альтернативная модель, где Х и Z — матрицы размерностей . и соответственно, а Х содержит по меньшей мере одну переменную, не включенную в Z. Пользуясь тем, что для первой модели

Где , получим

.

Аналогично, для второй модели имеем

,

Где .

Отсюда следует, что

Следовательно, , и, учитывая несмещенность оценки в «истинной модели», получим

. (1.37)

Соотношение (1.37) иногда используют для обоснования стратегии выбора спецификации, максимизирующей R2 поскольку из уравнения (1.33) следует, что

(1.38)

Где — выборочная дисперсия .

Последнее соотношение показывает, что отбор переменных, направленный на минимизацию S2, одновременно ведет к максимизации R2

1.5.4. Линейные ограничения

Предположим, что в соответствии с некоторой экономической теорией, лежащей в основе рассматриваемой модели, параметры этой модели должны удовлетворять одному или нескольким линейным ограничениям. Тогда желательно, чтобы и оценки параметров тоже удовлетворяли этим ограничениям.

Любой набор линейных ограничений можно записать в виде:

(1.39)

Где R — матрица размерности — число ограничений; R — вектор размерности .

Нет смысла рассматривать систему несовместных ограничений. Также не следует включать в число ограничений те, которые можно представить в виде линейных комбинации других. Поэтому разумно считать, что , Rank(R) = Q.

Если, например, в модели с тремя параметрами, необходимо получить векгор оценок , удовлетворяющий ограничениям

, (1.40)

То, как легко заметить, для записи ограничений (1.40) в форме (1.39) достаточно ввести матрицу и вектор .

1.5.5. Оценивание с учетом линейных ограничений

МНК-оценка , учитывающая ограничения на коэффициенты (restricted least squares estimator), получается в результате решения задачи условной оптимизации на этой оценке сумма квадратов остатков достигает минимума в множестве всех , удовлетворяющих условию (1.39). Общеизвестным способом решения такой задачи является нахождение безусловного минимума функции Л агранжа:

(1.41)

Где . — вектор множителей Лагранжа размерности .

Условие первого порядка для (1.41) записывается в виде

; (1.42)

. (1.43)

Умножая равенство (1.42) на И учитывая условие (1.43), получим

Где — безусловная (unrestricted)МНК-оценка.

Теперь легко получить, что вектор. выражается в виде

(1.45)

Подстановка полученного выражения в уравнение (1.42) и умножение на Приводит к МНК-Оценке, Учитывающей ограничение:

. (1.46)

Если ограничение справедливо и все классические предпосылки регрессионной модели выполняются, то вектор будет мал, поскольку для оценок, полученных с помощью обычного МНК, ограничения будут почти верны (с ростом объема выборки компоненты вектора по вероятности стремятся к нулю). Далее, из соотношения (1.46) следует, что МНК-оценки, учитывающие ограничения, и безусловные МНК-оценки будут приблизительно совпадать. Таким образом, чем больше отличаются оценки и , тем меньше оснований верить в справедливость рассматриваемых ограничений. Для формализации этих интуитивных соображений сделаем ряд дополнительных допущений.

1.5.6. Распределение МНК-оценки и проверка гипотезы о линёйных ограничениях

Выше мы сформулировали три классических требования, которые использовались для вывода некоторых свойств МНК-оценок. Одно из них состояло в том, что вектор регрессионных отклонений имеет нулевое математическое ожидание () и стандартную (так называемую «скалярную») ковариационную матрицу () Для того, чтобы продвинугься дальше, например для вывода закона распределения МНК-оценок и тестирования гипотез, необходимо сделать дополнительные предположения о статистическом распределении отклонений.

Обычно предполагается, что вектор и имеет многомерное нормальное распределение с параметрами — нулевым вектором средних и скалярной ковариационной матрицей:

(1.47)

Другими словами, предполагается, что процесс является Гауссовским Белым шумом.

Согласно второй классической предпосылке о детерминированности элементов матрицы Х, из (1.47) Непосредственно следует, что вектор Y также имеет нормальное распределение:

(1.48)

Поскольку МНК-оценка вектора представляет собой линейную функцию от Y, она тоже должна быть нормально распределенной с параметрами, вычисленными в (1.26) и (1.27):

(1.49)

Итак, при выполнении классических предположений и (дополнительно) нормальности распределения регрессионных отклонений МНК-оценка распределена нормально с математическим ожиданием и ковариационной матрицей . Для вычисления ковариационной матрицы нужно знать дисперсию Регрессионных отклонений, однако последняя обычно неизвестна. Поэтому заменяют на величину S2, задаваемую соотношением (1.35) и являющуюся, как было показано ранее, несмещенной оценкой для . Таким образом, получается несмещенная оценка ковариационной матрицы:

(1.50)

Мы можем применить эту оценку при тестировании гипотезы о линейных ограничениях, рассмотренной выше. Предположим, что мы хотим оценить следующую нулевую гипотезу:

, (1.51)

Где R - матрица размерности - вектор - нулевой вектор .

Как уже говорилось, если ограничение (1.51) выполняется, то следует ожидать, что вектор () будет близок к началу координат. Пользуясь нормальностью распределения МНК-оценки легко найти распределение :

(1.52)

Эта запись означает, что величина, стоящая слева от знака «», имеет при выполнении нулевой гипотезы указанное распределение. Из близости вектора () к нулю следует, что квадратичная форма

(1. 53)

Будет также близка к нулю.

Нам потребуется известный результат из курса математической статистики, представленный ниже без доказательства. Если вектор случайных величин имеет многомерное нормальное распределение с невырожденной ковариационной матрицей порядка , то случайная величина имеет распределение

В соответствии с (1.52) вектор Имеет Q-мерное нормальное распределение, причем из условия гank R = Q‚ следует, что его ковариационная матрица не вырождена. Поэтому величина, определенная квадратичной формой (1.53), имеет распределение с Q степенями свободы:

(1. 54)

Так как значение обычно неизвестно, то выражение (1.53) не вычислимо. Поэтому взамен разумно использовать несмещенную, оценку определенную в (1.35). Однако, поскольку S2 сама является случайной величиной, то такая замена в (1.54) приведет к распределению, отличному от . Ниже мы получим это распределение.

Найдем вначале распределение величины S2. Для этого воспользуемся еще одним известным результатом математической статистики: для произвольной идемпотентной матрицы М и стандартного гауссовского вектора величина имеет Х2-распределение с числом степеней свободы, равным рангу матрицы М.

Как было показано в параграфе 1.5.3, , где - симметричная идемпотентная матрица, а - единичная матрица порядка Т. Из (1.47) следует, что — стандартный Т-мерный гауссовский вектор. Легко видеть, что

Кроме того, по свойству идемпотентных матриц:

.

Учитывая независимость оценки и вектора МНК-оценок , имеем:

. (1.55)

Из выражений (1.53), (1.54) и (1.55) получаем

. (1.56)

Конечно, выражение (1.56) может показаться довольно громоздким, однако оно не содержит неизвестных величин и может быть непосредственно вычислено по имеющимся выборочным наблюдениям. Кроме того, при условии нормальности случайных отклонений и справедливости ограничений на параметры, это выражение подчиняется известному, затабулированному распределению. Наконец, по величине (1.56) можно судить о степени соответствия между имеющимися наблюдениями и ограничениями на параметры — если ее значение слишком велико (превосходит некоторый порог), то с большой долей уверенности можно утверждать, что ограничения не выполняются. Таким образом, величину (1.56) можно использовать в качестве критической статистики при проверке гипотезы о линейных ограничениях.

Ниже приводится удобный способ вычисления данного выражения. Из соотношения (1.46) для МНК-оценок учитывающих ограничения, следует, что

(1.57)

Так как должна удовлетворять ограничению , то

Умножяв (1.57) слева на , получим

(1.58)

Теперь рассмотрим сумму квадратов остатков в модели с ограничениями и сумму квадратов остатков в модели без ограничений :

; (1. 59)

(1.60)

Преобразуем выражение (1.59):

(161)

Здесь мы воспользовались ортогональностью величин X и , т. е. равенством . Из (1.60) и (1.61) получим

,

Или, используя (1.58),

Следовательно, критическая статистика (1.56) может быть записана по-другому:

. (1.62)

Формула (1.62) легко интерпретируется. Так как вектор МНК - оценок в модели без ограничений минимизирует сумму квадратов остатков, то наложение ограничений приводит к увеличению суммы квадратов. Таким образом, выражение в левой части (1.62) показывает относительную величину прироста суммы квадратов, приходящуюся на одно ограничение.

Мы будем отвергать гипотезу об ограничениях, в случае если критическая статистика свидетельствует «о слишком большом» увеличении суммы квадратов. Пороговое значение критической статистики, превышение которого свидетельствует о несправедливости гипотезы, определяется из таблиц F-распределения, соответствующих заданному уровню вероятности ошибочного решения.

1.5.7. доверительные интервалы

Рассмотрим снова выражение (1.56). В условиях справедливости нулевой гипотезы (1.51) для истинных значений параметров выполняется равенство , тогда (1.56) можно представить в виде:

. (1.63)

Через обозначим -процентную точку F-распределения (где — уровень значимости критерия), т. е. такую величину, при которой . Геометрически это означает, что область между осью абсцисс и графиком функции плотности распределения случайной величины , расположенная справа от точки , имеет площадь . С помощью процентной точки можно построить - процентный доверительный эллипсоид:

. (1.64)

Дадим интерпретацию выражения (1.64). Предположим, у нас есть возможность многократной генерации выборки наблюдений (Х, Y) в соответствии с моделью (1.22), причем для получения реализаций вектора Y используется одна и та же матрица значений регрессоров Х и одни и те же (истинные) значения коэффициентов , но разные векторы случайных отклонений U. Тогда вектор Y от выборки к выборке будет, вообще говоря, меняться, и, следовательно, будут получаться разные значения оценки , что позволит получить эмпирическое распределение для . Вопрос о несмещенность и эффективности МНК-оценок, обсуждавшийся ранее, фактически сводится к вопросу о среднем значении и дисперсии этого выборочного распределения. Представим себе теперь, что по каждой из выборок на основе неравенства, стоящего в фигурных скобках в выражении (1.64), построена область в K-мерном евклидовом пространстве. Соотношение (1.64) означает, что приблизительно в процентах случаев от числа сгенерированных выборок полученная область будет содержать истинное значение .

Интересен специальный случай, когда R — единичная матрица.

Тогда выражение (1.64) принимает вид:

. (1.65)

Это значит, что для процентов повторных выборок вектор истинных значений параметров будет содержаться внутри эллипсоида, лежащего в K-мерном евклидовом пространстве и заданного неравенством в фигурных скобках соотношения (1.65).

Другой интересный случай, когда R является K-мерной строкой с единицей на J-ом месте и нулями на остальных местах. Тогда выражение (1.64) будет иметь вид:

, (1.66)

Где означает (J, J)- й (т. е. диагональный) элемент матрицы, заключенной в квадратные скобки.

Пользуясь тем, что квадрат случайной величины имеющей распределение Стьюдента, описывается распределением Фишера , можно записать:

Или

. (1.67)

Переходи от (1.66) к (1.67), мы воспользовались обозначением стандартной ошибки для оценки , равной квадратному корню J-го диагонального элемента матрицы , и получили двусторонний доверительный интервал. Пусть, например, , тогда по таблице процентных точек T-распределения для 5-роцентного уровня значимости найдем и интервал , указанный в соотношении (1.67), в среднем для 95% повторных выборок, будет содержать истеное значение .

Следует отметить различия между проверкой каждого ограничения по отдельности и проверкой совместного выполнения всех ограничений. Рассмотрим, например, отдельные нулевые гипотезы и и совместную нулевую гипотезу

Допустим, что в процентах случаев доверительные области как для , так и для , содержат ноль. Поэтому мы не сможем отклонить ни гипотезу HА ни гипотезу HB на -м уровне значимости. Однако может так оказаться, что двухмерный - процентный доверительный эллипс для , и не содержит начала координат, так что гипотезу Нс, придется отвергнуть на уровне значимости (т. е. несмотря на то, что мы не можем отвергнуть гипотезу о равенстве одного из коэффициентов нулю, мы сможем отвергнуть гипотезу о совместном равенстве нулю двух коэффициентов).

Построим теперь совместный доверительный эллипс для , и . Пусть R — матрица размерности c и (2, J,)-элементами, равными единице, и нулями на остальных местах. Обозначив через Соv(,,) оцененную ковариацию оценок , и стоящую на (I, J)-м месте матрицы , а арифметические квадратные корни I-го и J-го диагональных элементов этой матрицы, как и распишем выражение (1.64):

(1 68)

Область, описанная неравенством, стоящим в фигурных скобках левой части (1.68), — это эллипс с центром в точке . Если допустить, что = 0, то область, задаваемая (1.68), будет прямоугольником с центром и сторонами, равными длинам частных доверительных интервалов, построенных для и аналогично (1.67) с уровнями доверия . Однако если известно, что и имеют положительную ковариацию, тогда переоцененностью (недооцененность) будет возникать одновременно с переоцененностью (недооцененностью) . Это позволяет исключить окрестности угловых точек прямоугольника и получить эллипс, соответствующий совместной доверительной области с уровнем доверия .

Непосредственно также можно построить доверительную область для постоянной дисперсии случайных отклонений . Из выражения (1.55) известно, что имеет - распределение с Т - K степенями свободы. Пусть и определяют соответственно и процентные точки распределения с T-K степенями свободы, тогда

(1.69)


Линейная модель множественной регрессии - 3.5 out of 5 based on 2 votes