27. Классический метод наименьших квадратов для модели множественной регрессии. Метод Крамера

27. Классический метод наименьших квадратов для модели множественной регрессии. Метод Крамера

В общем виде линейную модель множественной регрессии можно записать следующим образом:

yi=?0+?1x1i+…+?mxmi+?i,

где yi – значение i-ой результативной переменной,

x1i…xmi – значения факторных переменных;

?0…?m – неизвестные коэффициенты модели множественной регрессии;

?i – случайные ошибки модели множественной регрессии.

В результате оценивания данной эконометрической модели определяются оценки неизвестных коэффициентов. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК). Суть метода наименьших квадратов состоит в том, чтобы найти такой вектор ? оценок неизвестных коэффициентов модели, при которых сумма квадратов отклонений (остатков) наблюдаемых значений зависимой переменной у от расчётных значений ? (рассчитанных на основании построенной модели регрессии) была бы минимальной.

Матричная форма функционала F метода наименьших квадратов:

где

– случайный вектор-столбец значений результативной переменной размерности (n*1);

– матрица значений факторной переменной размерности (n*(m+1)). Первый столбец является единичным, потому что в модели регрессии коэффициент ?0 умножается на единицу;

В процессе минимизации функции (1) неизвестными являются только значения коэффициентов ?0…?m, потому что значения результативной и факторных переменных известны из наблюдений. Для определения минимума функции (1) необходимо вычислить частные производные этой функции по каждому из оцениваемых параметров и приравнять их к нулю. Результатом данной процедуры будет стационарная система уравнений для функции (1):

где

– вектор-столбец неизвестных коэффициентов модели регрессии размерности ((m+1)*1);

Общий вид стационарной системы уравнений для функции (1):

Решением стационарной системы уравнений будут МНК-оценки неизвестных параметров линейной модели множественной регрессии:

Оценим с помощью метода наименьших квадратов неизвестные параметры линейной модели двухфакторной регрессии:

yi=?0+?1x1i+?2x2i+?i,

где

Чтобы рассчитать оценки неизвестных коэффициентов ?0,?1 и ?2 данной двухфакторной модели регрессии, необходимо минимизировать функционал F вида:

Для определения экстремума функции нескольких переменных, частные производные по этим переменным приравниваются к нулю. Результатом данной процедуры будет стационарная система уравнений для модели множественной линейной регрессии с двумя переменными:

В результате элементарных преобразований данной стационарной системы уравнений получим систему нормальных уравнений:

Данная система называется системой нормальных уравнений относительно коэффициентов

для модели регрессии yi=?0+?1x1i+?2x2i+?i.

Полученная система нормальных уравнений является квадратной, т. к. количество уравнений равняется количеству неизвестных переменных, поэтому коэффициенты

можно рассчитать с помощью метода Крамера или метода Гаусса.

Рассмотрим подробнее метод Крамера решения квадратных систем нормальных уравнений.

Единственное решение квадратной системы линейных уравнений определяется по формуле:

где ? – основной определитель квадратной системы линейных уравнений;

?j – определитель, полученный из основного определителя путём замены j-го столбца на столбец свободных членов.

При использовании метода Крамера возможно возникновение следующих ситуаций:

1) если основной определитель системы ? равен нулю и все определители ?jтакже равны нулю, то данная система имеет бесконечное множество решений;

2) если основной определитель системы ? равен нулю и хотя бы один из определителей ?jтакже равен нулю, то система решений не имеет.