Доверительные интервалы и проверка гипотез

Чтобы сделать статистические выводы о, и, сначала необходимо оценить дисперсию, а затем описать распределение ошибки случайной переменной. Согласно теории общей линейной модели, обычная несмещенная оценка для определяется через дисперсию оценки

Положительный квадратный корень из этой величины называют стандартной ошибкой оценки. Дисперсию оценки можно также найти из таблицы дисперсионного анализа, которая во многих пакетах статистических программ выводится на печать.

Таблица 8.1 — Таблица дисперсионного анализа для простой линейной регрессии.

Источник дисперсии.	Сумма квадратов.	Степеней свободы.	Средний квадрат.	F-отношение.
Регрессия Отклонение от регрессии Полная.

Остаточная сумма квадратов и остаточное число степеней свободы являются соответственно числителем и знаменателем в формуле (8.4). Обусловленная регрессией сумма квадратов получила такое название потому, что ее можно записать как функцию оцененного коэффициента регрессии, а именно.

Итак, чем больше коэффициент регрессии, тем больше сумма квадратов, «обусловленная регрессией». Последняя колонка, F-отношение, может быть использована для проверки гипотез, если ошибки предполагаются нормально распределенными.

Для проверки гипотезы о том, что простая линейная регрессия по отсутствует (т.е. гипотезы против альтернативы) мы используем F-отношение из таблицы дисперсионного анализа Если верна гипотеза, то имеет F-распределение с и степенями свободы. P-значение есть площадь области под кривой плотности распределения справа от. Мы отвергаем, если P меньше, чем уровень значимости. Если принимается, то наилучшей оценкой при любом будет среднее значение .

Если ошибки предполагаются нормальными, можно проверить дополнительные гипотезы и построить доверительные интервалы. Для проверки, где — константа, используем статистику.

где.

В выводе программ регрессионного анализа величина часто называется стандартной ошибкой коэффициента регрессии. Если гипотеза верна, то имеет t-распределение Стьюдента с степенями свободы. Критическая область определяется в зависимости от вида альтернативной гипотезы по таблице t-распределения. Соответственно 100(1-)%-ый доверительный интервал для есть Для проверки гипотезы, гдеконстанта, используем статистику.

где.

В выводе программ регрессионного анализа величина часто называется стандартной ошибкой свободного члена. Для статистика имеет t-распределение Стьюдента с степенями свободы. Соответствующий 100(1-)%-ый доверительный интервал для есть Приведем теперь два доверительных интервала, основанных на оценке. Если в (8.3) интерпретируется как оценка единственного значения при любом, то 100(1-)%-ый доверительный интервал для определяется выражением.

Если, с другой стороны, в (8.3) интерпретируется как оценка среднего значения при заданном, то 100(1-)%-ый доверительный интервал есть.

Выбор доверительного интервала зависит от того, как используется оценка исследователем. Заметим, что, когда удаляется от, доверительный интервал увеличивается, т. е. наша оценка становится менее точной. Кроме того, если N и велики, то выражение (8.5) аппроксимируется «быстрым» доверительным интервалом. Поэтому s действительно можно назвать «стандартной» ошибкой оценки .

Множественная линейная регрессия

Множественная линейная регрессионная модель имеет вид.

Задача множественного линейного регрессионного анализа состоит в нахождении и дисперсии случайной ошибки по данным выборки (4.1) в предположении, что 1) структура регрессионного уравнения известна и близка к линейной (8.6); 2) внешний шум (случайная ошибка) имеет распределение и не коррелирована с независимыми переменными; 3) ошибки регистрации малы.

Оценки ищутся с помощью метода наименьших квадратов путем решения системы линейных уравнений.

.

В уравнении (8.6) некоторые независимые переменные X могут быть функциями других переменных. Например, — есть модель множественной линейной регрессии с и. В частности, если, то получается модель полиномиальной регрессии

Линейность здесь подразумевается относительно параметров, но не по отношению к независимым переменным. Так, не является линейной функцией параметров.