Метод наименьших квадратов 2

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ АГЕНСТВО ПО ОБРАЗОВАНИЮ

Московский Авиационный институт

(Государственный технический университет)

«МАИ»

Кафедра 804

Курсовая работа по курсу

«Теория вероятностей и математическая статистика»

На тему «Метод наименьших квадратов»

Выполнила курсовую работу

студентка группы 05-206

Зуева Татьяна Анатольевна

Дата сдачи КР

Проверил курсовую работу

Шин Галина Захаровна

Москва 2005

Оглавление

1. Исходные данные………………………………………………….3

2. Постановка задачи…………………………………………………4

3. Теоретическая часть……………………………………………….5

4. Расчетная часть……………………………………………………10

5. График …………………………………………………………….16

6. Приложение………………………………………………………..17

7. Список литературы……………………………………………… 18

1.Исходные данные

Постановка задачи

а).Задано множество пар значений {(x_t,y_t)}, t= (n=41), представляющих собой результаты измерений функции. Дан прибор, который генерирует функцию y(x)=ax+b. На вход поступает сигнал x₁,x₂,..,x_n; на выходе: y₁,y₂,…,y_n.

Числа не соответствуют внутренним числам, так как прибор имеет шумы

y_t=ax_t+b +ε_t, t=,

где a,b – неизвестные коэффициенты, а ε_t – независимые в совокупности случайные величины с нормальным законом распределения: ε_t~N(0,σ²), где σ² неизвестная дисперсия; 0 – математическое ожидание шума ε_t. М ε_t=0, D ε_t= σ².

Требуется найти методом наименьших квадратов неизвестные параметры кривой регрессии.

y(x)=ax+b– кривая регрессии – условное матожидание случайной величины Y при аргументе x, М(y/x).

б). Построить график линии регрессии ỹ(x).

1. Найти точечную оценку для неизвестного параметра неизвестной дисперсии σ² , которая входит в нормальный закон распределения.
2. Построить интервальные оценки для неизвестных коэффициентов a,b и дисперсии σ² на уровне доверия j₁=0,9; j₂=0,95.
3. С помощью критерия Снедекера-Фишера проверить гипотезу H_o: a=0 и гипотезу H_o: b=0 на уровне доверия j₁=0,9 и j₂=0,95.

Теоретическая часть

1.Выборка.

Математическая статистика – наука о математических методах, позволяющих по статистическим данным, например по реализациям случайной величины (СВ), построить теоретико-вероятностную модель исследуемого явления. Задачи математической статистики являются, в некотором смысле, обратными к задачам теории вероятностей. Центральным понятием математической статистики является выборка.

Определение 1. Однородной выборкой (выборкой) объема n при n1 называется случайный вектор Z_n=col(X₁,…,X_n), компоненты которого X_i, i=, называемые элементами выборки, являются независимыми СВ с одной и той же функцией распределения F(x). Будем говорить, что выборка Z_n соответствует функции распределения F(x).

Числа, данные, полученные после опыта – апостериорная выборка.

Определение 2. Реализацией выборки называется неслучайный вектор z_n=col(x₁,…,x_n), компонентами которого являются реализации соответствующих элементов выборки _Xi, i=.

Из этих определений вытекает, что реализацию выборки zn можно также рассматривать как последовательность x1,…,xnиз n реализаций одной и той же СВ X, полученных в серии из nнезависимых одинаковых опытов, проводимых в одинаковых условиях. Поэтому можно говорить, что выборка Zn порождена наблюдаемой СВ X, имеющей распределение F_x(x)=F(x).

Определение 3. Если компоненты вектора Zn независимы, но их распределения F₁(x₁),…,F_n(x_n) различны, то такую выборку называют неоднородной.

Определение 4. Множество Sвсех реализаций выборки Z_nназывается выборочным пространством.

Выборочное пространство может быть всем n-мерным евклидовым пространством Irn или его частью, если СВ X непрерывна, а также может состоять из конечног или счетного числа точек из Irn, если СВ X дискретна.

На практике при исследовании конкретного эксперимента распределения F₁(x₁),…,F_n(x_n) СВ X₁,…,X_nредко бывают известны полностью. Часто априори (до опыта) можно лишь утверждать, что распределение F_Zn(z_n)=F₁(x₁),…F_n(x_n) случайного вектора Z_nпринадлежит некоторому классу (семейству) F.

Определение 5. Пара (S,F) называется статистической моделью описания серии опытов, порождающих выборку Z_n.

Определение 6. Если распределение F_Zn(z_n,Ө) из класса F определены с точностью до некоторого векторного параметра ӨΘIR^s, то такая статистическая модель называется параметрической и обозначается (S_Ө, F_Zn(z_n, Ө)), ӨΘIR^s.

В некоторых случаях выборочное пространство может не зависеть от неизвестного параметра Ө распределения F_Zn(z_n,Ө).

В зависимости от вида статистической модели в математической статистике формулируются соответствующие задачи по обработке информации, содержащейся в выборке.

Определение 7. СВ Z=φ(Z_n), где φ(Z_n) – произвольная функция, определенная на выборочном пространстве S и не зависящая от распределения F_Zn(z_n,Ө), называется статистикой.

2. Точечные оценки.

Определение 2.1. Параметром распределения ӨΘIR¹ СВ X называется любая числовая характеристика этой СВ ( математическое ожидание, дисперсия и т.п.) или любая константа, явно входящая в выражение для функции распределения.

В общем случае будем предполагать, что параметр распределения Ө может быть векторным, т.е. ӨΘIR^s.

В случае параметрической статистической модели (S_Ө, F_Zn(z_n,Ө)) таким параметром распределения может служить неизвестный вектор ӨΘIR^s, характеризующий распределение F_Zn(z_n,Ө).

Пусть имеется выборка Z_n=col(X₁,…X_n) с реализацией z_n=(x₁,…x_n).

Определение 2.2. Точечной (выборочной) оценкой неизвестного параметра распределения ӨΘIR^s называется произвольная статистика (Z_n), построенная по выборке Z_n и принимающая значения в множестве Θ.

Замечание 2.1. Реализацию (z_n) оценки (Z_n), принимают, как правило, за приближенное значение неизвестного параметра Ө.

Ясно, что существует много разных способов построения точечной оценки которые учитывают тип статистической модели. Для параметрической и не параметрической моделей эти способы могут быть различны. Рассмотрим некоторые свойства, которые характеризуют качество введенной оценки.

Определение 2.3. Оценка (Z_n) параметра Ө называется несмещенной, если ее МО равно Ө , т.е. M[(Z_n)]= Ө для любого ӨΘ.

Определение 2.4. Оценка (Z_n) параметра Ө называется состоятельной, если она сходится по вероятности к Ө, т.е. (Z_n) Ө при n → ∞ для любого ӨΘ.

Определение 2.5. Оценка (Z_n) параметра Ө называется сильно состоятельной, если она сходится почти наверное к Ө, т.е. (Z_n) Ө при n → ∞ для любого ӨΘ.

Определение 2.6. Несмещенная оценка *(Z_n) скалярного параметра Ө называется эффективной, если D[*(Z_n)]≤ D[(Z_n)] для всех несмещенных оценок (Z_n) параметра Ө, т.е. ее дисперсия минимальна по сравнению с дисперсиями других несмещенных оценок при одном и том же объеме n выборки Z_n.

Вообще говоря, дисперсии несмещенных оценок могут зависеть о параметра Ө. В этом случае под эффективной оценкой понимается такая, для которой вышеприведенное неравенство является строгим хотя бы для одного значения параметра Ө.

3.Интервальные оценки.

Пусть имеется параметрическая статистическая модель (S_Ө,F_Zn(z_n,Ө)), ӨΘIR¹, и по выборке Z_n=col(X₁,…X_n), соответствующей распределению F(x,Ө), наблюдаемой СВ X, требуется оценить неизвестный параметр Ө. Вместо точечных оценок, рассмотренных ранее, рассмотрим другой тип оценок неизвестного параметра ӨΘIR¹.

Определение 3.1. Интервал [θ₁(Z_n),θ₂(Z_n)] со случайными концами, «накрывающий» с вероятностью 1-α, 0<α<1, неизвестный параметр θ, т.е.

P{ θ₁(Z_n)≤ θ ≤ θ₂(Z_n)}= 1-α,

называется доверительным интервалом (или интервальной оценкой) уровня надежности 1-α параметра θ.

Аналогично определяется доверительный интервал для произвольной функции от параметра θ.

Определение 3.2. Число δ=1-α называется доверительной вероятностью или уровнем доверия (надежности).

Определение 3.3. Доверительный интервал [θ₁(Z_n),θ₂(Z_n)] называется центральным, если выполняются следующие условия:

P{ θ≥ θ₂(Z_n)}= , P{ θ₁(Z_n) ≥ θ}=.

Часто вместо двусторонних доверительных интервалов рассматривают односторонние доверительные интервалы, полагая θ₁(Z_n)= -∞ или θ₂(Z_n)= +∞.

Определение 3.4. Интервал, границы которого удовлетворяют условию:

P{ θ≥ θ₂(Z_n)}= α (или P{ θ₁(Z_n) ≥ θ}= α.),

называется соответственно правосторонним (или левосторонним) доверительным интервалом.

4.Проверка статистических гипотез.

Определение 4.1. Статистической гипотезойH или просто гипотезой называется любое предположение относительно параметров ли законов распределения СВ X, проверяемое по выборке Z_n.

Определение 4.2. Проверяемая гипотеза называется основной (или нулевой) и обозначается Ho. Гипотеза, конкурирующая с H_o, называется альтернативной и обозначается H₁,

Определение 4.3. Статистическая гипотеза Ho называется простой, если она однозначно определяет параметр или распределение СВ X. В противном случае гипотеза H_o называется сложной.

Определение 4.4.Статистическим критерием (критерием согласия, критерием значимости или решающим правилом) проверки гипотезы H_o называется правило, в соответствии с которым по реализации z=φ(z_n) статистики Z гипотеза H_o принимается или отвергается.

Определение 4.5.Критической областью статистического критерия называют область реализации z статистики Z, при которых гипотеза Ho отвергается.

Определение 4.6. Доверительной областьюG статистического критерия называется область значений z статистики Z, при которых гипотеза H_o принимается.

Например, в качестве статистического критерия можно использовать правило:

1. Если значение z= φ(z_n) статистики Z= φ(z_n) лежит в критической области , то гипотеза Ho отвергается и принимается альтернативная гипотеза H₁;
2. Если реализация z= φ(z_n) статистики Z= φ(z_n) лежит в доверительной области G, то гипотеза H_o принимается.

При реализации этого правила возникают ошибки двух видов.

Определение 4.7. Ошибкой 1-го рода называется событие, состоящее в том, что гипотеза H_o отвергается, когда она верна.

Определение 4.8. Ошибкой 2-го рода называется событие, состоящее в том, что принимается гипотеза H_o, когда верна гипотеза H₁.

Определение 4.9. Уровнем значимости статистического критерия называется вероятность ошибки 1-го рода α=P{Z|H_o}, Вероятность ошибки 1-го рода α может быть вычислено, если известно распределение F(z|H_o) статистики Z.

Вероятность ошибки 2-го рода равна β=P{ZG|H_o} и может быть вычислена, если известно условное распределение F(z|H₁) статистики Z при справедливости гипотезы H₁.

Ясно. Что с уменьшением вероятности α ошибки 1-го рода возрастает вероятность β ошибки 2-го рода, и наоборот, т.е. при выборе критической и доверительной областей должен достигаться определенный компромисс. Поэтому часто при фиксированной вероятности ошибки 1-го рода критическая область выбирается таким образом, чобы вероятность ошибки второго рода была минимальна.

Определение 4.10. Мощность статистического критерия – это вероятность того, что нулевая гипотеза будет отвергнута, если верна конкурирующая гипотеза.

Проверка статистической гипотезы может быть подразделена на следующие этапы:

1. сформулировать проверяемую гипотезу H_o и альтернативную к ней гипотезу H₁;
2. выбрать уровень значимости α;
3. выбрать статистику Z для проверки гипотезы H_o;
4. найти распределение F(z|H_o) статистики Z при условии, что гипотеза H_o верна;
5. построить, в зависимости от формулировки гипотезы H₁ и уровня значимости α, критическую область ;
6. получить выборку наблюдений x₁,..,x_n и вычислить выборочное значение z= φ(x₁,..,x_n) статистики Z критерия;
7. принять статистическое решение на уровне доверия 1-α: если Z, то отклонить гипотезу H_o как не согласующуюся с результатами наблюдений, а если ZG, то принять гипотезу H_oкак не противоречащую результатам наблюдений.

Теория к лабораторной работе №3.

Определение 1.Упорядочим элементы реализации выборки х₁,…,х_n по возрастанию: x⁽¹⁾≤x⁽²⁾≤…≤x⁽ⁿ⁾, где верхний индекс соответствует номеру элемента в упорядоченной последовательности.

Обозначим через x^(k), k=, случайные величины, которые при каждой реализации zn выборки Zn принимают k-е (по верхнему индексу) значения x(k). Упорядоченную последовательность случайных величин: x⁽¹⁾≤…≤x⁽ⁿ⁾ называют вариационным рядом выборки.

Определение 2. Элементы x^(k) вариационного ряда называются порядковыми статистиками, а крайние члены вариационного ряда x⁽¹⁾, x⁽ⁿ⁾ – экстремальными порядковыми статистиками.

Определение 3. Рассмотримпроцедуру группировки выборки. Для этого действительную ось IR1=(-∞,∞) разделим точками αо,…,α_l+1 на l+1 непересекающихся полуинтервал (разряд) ∆k=[α_k, α_k+1), k=, таким образом, что -∞= αо< α₁<…< α_l< α_l+1=+∞, α₁≤ x⁽¹⁾, α_l≥ x⁽ⁿ⁾. Обычно длина разрядов ∆k, k=, выбирается одинаковой, т.е. равной hk=(αl-α1)/(l-1). Используя реализацию вариационного ряда x⁽¹⁾<…<x⁽ⁿ⁾, для каждого k-го разряда k=, вычислим частоту попадания элементов реализации выборки в этот разряд. Получаем , где n_k- число элементов реализации выборки z_n, попавших в k-й разряд. Если рассмотреть априорную выборку Zn и случайное число N_k элементов этой выборки, попавших в k-й разряд, то получим набор случайных величин .

Последовательность пар (),k=, называется статистическим рядом, а его реализация (),k=представляется в виде таблицы:

Определение 4. На оси OX отложим разряды и на них, как на основании, постоим прямоугольники с высотой, равной , k=. Тогда площадь каждого прямоугольника будет равна . Полученная фигура называется столбцовой диаграммой, а кусочно-постоянная функция , образованная верхними гранями полученных прямоугольников,- гистограммой.

Определение 5. Случайная величина X распределена равномерно на отрезке [a,b] (X~R(a;b)), если плотность вероятности имеет вид:

Определение 6. Случайная величина X имеет экспоненциальное (показательное) распределение с параметром λ>0, т.е. X~E(λ), если плотность вероятности имеет вид:

Определение 7. Случайная величина X имеет нормальное (гауссовское) распределение с параметрами m и σ²>0, т.е. X~N(m; σ²), если

При этом случайная величина называется нормальной (гауссовской). График плотности нормального распределения, называемый кривой Гаусса, имеет единственный максимум в точке x=m.

Критерий согласия (критерий Пирсона).

Как бы хорошо ни была подобрана теоретическая кривая, между нею и статистическим распределением неизбежны некоторые расхождения. Для выяснения их пользуются «критериями согласия». Одним из наиболее применяемых- является так называемый «критерий » Пирсона.

Расчетная часть.

1.Построение оценоки неизвестных коэффициентов.

Суть метода наименьших квадратов состоит в том, что и находятся из условия минимума функции S(a,b):

S(a,b)=, где n=41.

1.1 Составим систему нормальных уравнений: , решив эту систему, найдем и .

=163,835/41= -3,99598;

= -67,3532/14,35= -4,6936.

1.2 Построение оценки при условии, что b=0.

=0

67,3532+14,35а=0

ã = - 4,6936

1.3 Построение оценки при условии, что а=0.

=0

163,835+41b=0

b= - 3,99598

2.Построение оценки неизвестной дисперсии σ² шумов ε_t.

²=, где S²=(y-ỹ)^T*( y-ỹ), n=41(число измерений), m=2(количество неизвестных параметров).

n - m=41-2=39

S²=, где - оценка кривой регрессии, =x_i+

S²= 17329,02;

²==444,334

= -4,6936X- 3,99598

3. Построение интервальных оценок коэффициентов a,b и дисперсии s² на уровне доверия 0,9 и 0,95.

,

где - квантиль уровня для - распределения с n степенями свободы.

Квантили распределения для интервала :

а).,

б). ,

I.1.Построим интервальные оценки дисперсии s² на уровне доверия g=0,95:

a=1-g=0,05,

,

.

2.Построим интервальные оценки дисперсии s² на уровне доверия g=0,9:

a=1-g=0,1,

Далее, ~t(n-m),

где c_iiобозначает (i,i)-ый элемент матрицы А^-1, а символ t(n-m) – распределение Стьюдента с n-m степенями свободы. Отсюда

,

где - квантиль уровня для распределения Стьюдента с n степенями свободы.

Квантили распределения Стьюдента для интервалов a,b:

а). ,

б). ,

,

,

С₁₁=0,02439 (для свободного члена,b), С₂₂=0,069686 (для a).

n=41,

m=2.

II.1. Построим интервальную оценку для коэффициента b на уровне доверия g=0,95:

,

2.Построим интервальную оценку для коэффициента b на уровне доверия g=0,9:

,

.

III. 1.Построим интервальную оценку для коэффициента a на уровне доверия g=0,95:

,

2. Построим интервальную оценку для коэффициента a на уровне доверия g=0,9:

,

4.Проверка гипотез с помощью критерия Снедекера-Фишера.

Ho - разные гипотезы, H₁- альтернативная гипотеза.

Существует область принятия гипотезы и область отклонения гипотезы.

y(x)=ax+b

МНК:

Необходимо проверить следующие гипотезы:

,

Критерий Снедекера-Фишера:

, где

D=17329,02;

n=41.

Квантили распределения Фишера для критерия Снедекера-Фишера

а). ,

б). ,

1. y=b: = 17645,1476

а). На уровне доверия F=0,7115<, поэтому принимаем гипотезу

б). На уровне доверия F=0,7115<, поэтому принимаем гипотезу

2. y=ax: = 17983,7

а). На уровне доверия F=1,473<, поэтому принимаем гипотезу

б), На уровне доверия F=1,473<, поэтому принимаем гипотезу

Приложение

Сводная таблица оценок и .

Интервальные оценки

-15,951 -14,042 4,655 6,563

-10,656 -9,527 1,535 2,664

298,159 317,556 674,543 732,728

Список использованной литературы.

1.Кочетков Е.С. Метод наименьших квадратов: Учебное пособие. Москва, издательствр МАИ, 1993г.

2.М.В.Болдин, Е.Р. Горяинова, А.Р. Панков, С.С Тарасова. Теория вероятностей и математическая статистика: лабораторные работы. Москва, издательство МАИ, 1992г.

3.Кибзун А.И., Горяинова Е.Р., Наумов А.В. Теория вероятностей и математическая статистика. Базовый курс с примерами и задачами. Учебное пособие, 2-е издание, исправленное и дополненное. Москва, ФИЗМАТЛИТ, 2005г.