27. Сформулируйте исходные предположения метода наименьших квадратов.

Связь зависимой переменной с одной или несколькими независимыми переменными описывается с помощью уравнения регрессии:

Это уравнение показывает, каково будет в среднем значение y, если переменные x примут конкретные значения.

Если независимая переменная одна, то регрессия называется парной.

Построение уравнения регрессии включает два этапа:

1) определение вида зависимости (этап спецификации);

2) определение коэффициентов регрессии (этап идентификации).

Предположим, на этапе спецификации установлено, что между величинами x и y существует линейная зависимость. Реальные значения y будут отличаться от этой теоретической зависимости.

В общем случае линейное уравнение связи двух переменных, учитывающее случайные отклонения, можно представить в виде:

где – отклонение от теоретически предполагаемого значения;

и - неизвестные параметры (коэффициенты регрессии).

В уравнении (6.1) можно выделить две части:

 систематическую, = + x, где характеризует некоторое среднее значение y для данного значения x;

 случайную ( ).

Коэффициенты и описывают вид зависимости для генеральной совокупности. Так как при выполнении подобных исследований всегда имеют дело с выборочной совокупностью, то истинные значения параметров и являются неизвестными, и мы можем говорить лишь об их оценках. Обозначим эти оценки, соответственно, а и b, тогда уравнение регрессии с оцененными параметрами будет иметь вид:

где n - объем выборки.

Обозначим через e_i отклонение реального значения отклика y_i от теоретически рассчитанного по уравнению _i.

Параметры a и b уравнения регрессии чаще всего оцениваются с помощью метода наименьших квадратов (МНК).

Суть его состоит в том, чтобы зная положение точек на плоскости XY, так провести линию регрессии, чтобы сумма квадратов отклонений этих точек от проведенной прямой вдоль оси OY была минимальной.

Математически критерий оценки параметров линейной парной регрессии записывается так:

Условие существования экстремума функции – равенство нулю производной:

Раскрыв скобки и выполнив преобразования, получим систему из двух уравнений с двумя неизвестными:

Разделив первое уравнение на n, получим:

т.е. метод наименьших квадратов дает прямую, проходящую через точку ( , ).

Решая систему, получим расчетные формулы для нахождения коэффициентов уравнения регрессии: