Метод максимального правдоподобия

Метод моментов

Метод моментов предложил Карл Пирсон. Согласно этому методу по выборке определяется столько начальных моментов, сколько параметров имеет ЗР ген. сов.. Оценки параметров находят как функции от начальных моментов …

Например: -> 2 параметра -> для определения оценки параметров ищем и , а остальные параметры -> функции от, и , l=1…m Например, = ,

Оценки метода момента состоятельны, однако, их эффективность часто бывает значительно < 1.

Интервальные оценки для генеральной дисперсии, полученные по выборке из нормальной генеральной совокупности.

Интервальной оценкой ген. сов. называют интервал , отснос. кот. близкой к доверительной вероятности можно утверждать, что параметр находится внутри данного интервала. h= - - ширина доверительного интервала.

Пусть из генер.совок Х N(μ;σ), взята выборка . Найдем с довер. вероят. интервалы для .

1)n ≤ 30 Согласно теореме 4, (). Находим по таблице 3

Так как табл. χ² распр-я Пирсона содержит вер-ти P(χ²> χ²_a,v)= α,можно записать:

= ,

(; ), (; ) Решим неравенство относительно

χ² – СВ,имеющ-я χ² распр-е Пирсона с ν =n-1 степ.свободы.

n>30 Согласно свойству 2 СВ, имеющей -распр. N(0;1), тогда )=

а) дана довер. вероятность определить = => t, =-t, , , ,

б) Дано , найти . Подставим в выражение для T

, 17. Интервальная оценка для вероятности р, полученная по выборке из генеральной совокупности, имеющей биномиальный закон распределения.

Интервальной оценкой ген. сов. называют интервал , отснос. кот. близкой к доверительной вероятности можно утверждать, что параметр находится внутри данного интервала. h= - - ширина доверительного интервала.

Пусть в n независимых испытаниях событие А наступило m раз. P-вероятность появления А в отдельных испытаниях.

Согласно теореме 9, => = , где = Решая неравенство относительно р и допуская, что >p получаем

< =>(

n>100 тогда , и => P( = , где

При малых nинтервальную оценку для pнаходят из биноминального ЗР

Границы довер.интерв.для ген.доли опред-ся на основе ур-ий:,которые решаются приближенно.

,

18. Оценка неизвестных законов распределения. Проверка гипотез о законе распределения генеральной совокупности. Критерий согласия Пирсона. (НЕПОЛНЫЙ)

КРИТЕРИЙ ПИРСОНА χ² – критерий проверки гипотезы о том, что изучаемая случайная величина подчиняется заданному закону распределения: H₀: F(x) = F₀(x).

Наблюдаемое значение статистики критерия рассчитывается на основе данных, представленных в виде вариационного ряда по формуле: ,

где m_i – частота i-го значения или интервала (число наблюдений выборки, равных i-му значению x_i, или попадающих в i-й интервал (a_i; b_i), i = 1, …, l;

p_i – вероятность принятия случайной величиной i-го значения или вероятность попадания в i-й интервал;

n – объем выборки n = Σ m_i.

Часто для расчетов вводят понятие "теоретической частоты" m_i^T = np_i, что позволяет преобразовать формулу наблюдаемого значения статистики критерия к виду: .

По теореме Пирсона при истинности гипотезы H₀ и n → ∞, распределение статистики χ²_набл сходится к χ²-распределению с ν = l – r – 1 степенями свободы, где r - число параметров предполагаемого теоретического зако­на, использованных для вычисления теоретических частот и оценива­емых по выборке. Для проверки нулевой гипотезы H₀ на уровне значимости α строят правостороннюю критическую область. Границу критической области χ²_кр находят по таблицам χ²-распределения из условия P(χ² > χ²_кр(α; l – r – 1)) = α.

Гипотеза отвергается на уровне значимости a, если вычисленное значение χ²_набл окажется больше критического χ²_кр(α,ν), найденного по таблицам распределения χ² для уровня значимости a и числа степеней свободы ν = l – r - 1. В противном случае гипотеза не отвергается.

Проверка гипотезы о генеральной ср.

Сравнение с нормативом

Метод моментов

Метод моментов предложил Карл Пирсон. Согласно этому методу по выборке определяется столько начальных моментов, сколько параметров имеет ЗР ген. сов.. Оценки параметров находят как функции от начальных моментов …

Например: -> 2 параметра -> для определения оценки параметров ищем и , а остальные параметры -> функции от, и , l=1…m Например, = ,

Оценки метода момента состоятельны, однако, их эффективность часто бывает значительно < 1.

Метод максимального правдоподобия

В 1925 Р. Фишер критикует метод моментов и предлагает метод максимального правдоподобия, основу которого составляет функция правдоподобия.

Пусть - выборка из генеральной совокупности Х с функцией плотности f(x; θ), где θ – вектор неизвестных параметров, которые подлежат оценке

Функция правдоподобия – вероятность или плотность вероятностей совместного наступления событий при заданном значении θ. Т. е L( |θ)= , т.к. взаимно независимые, в качестве вектор оценок θ_j принимается _j, который максимизирует L или ln L.

Свойства: 1)Если у существует эффективная оценка, то она совпадает с оценкой максимального правдоподобия. =

2) Если сущ. достаточная статистика параметра , - будет достаточной.

3) Асимпт. свойство – оценки максимального правдоподобия – состоятельные, асимптотически эффективные (n- , и имеют асимптотически нормальный закон распределения.

8. Точные и асимптотические законы распределения выборочных характеристик. Вывести закон распределения в предположении, что выборка взята из нормальной генеральной совокупности Х.

Различают точечные и асимптотические законы распределения выборочных характеристик. Точечными называют ЗР , справедливые при любых n. Асимптотическими называют ЗР , справедливые для

Если – случайная выборка из X? N(μ;σ), то также подчиняется нормальному з-ну распределения . Доказательство:

Рассмотрим понятие производящей функции СВ X, которая является функцией от t вида Производящая функция X? N(μ;σ) -

Из теоремы единственности следует, что каждому закону распределения соответствует определенная производящая функция и наоборот.

Производящая функция нормальной СВ

Производящая функция суммы независимых СВ равна произведению производящих функций этих величин. Тогда производящая функция

,

9. Вывести закон распределения () в предположении, что выборки независимы и взяты из нормальных генеральных совокупностей Х и У.

Если – выборка объемом n₁ из нормальной ген. сов. X? N(μ1;σ1), – выборка объемом из нормальной ген. сов. Y? N(μ2;σ2), причем выборки независимы, то Z=

Производящая функция

Т.к. произв. Ф-я суммы равна произведению производ. Ф-й слагаемых, то

* M(z)= D(z)=

10. Доказать, что статистика имеет - распределение с (n -1) степенями свободы.

Если – случайная выборка объемом n из X? N(μ;σ), то

статистика имеет - распределение с (n -1) степенями свободы

Доказательство: Не нарушая общности, будем предполагать, что Х-центрированная величина X? N(0;σ), X=x’- μ, причем Перейдем от СВ i=1,N к новой системе СВ , j=1,N

(1)

(2)

Составим матрицу А коэффициентов преобразования

А=

Покажем, что матрица А удовлетворяет ортогональности:

1)

2) Сумма произв. соответствующих 2-х строк или 2-х стобл=0

Таким образом, с помощью ортогональной матрицы А ( ) ) преобразуется в

Ортогональным называется n-мерное преобразование ЛП, сохраняющее длину каждого вектора.

Из (2) и

,

=> Yj-взаимно некоррел.

нормированных нормальных величин

11. Доказать, что статистики и S ² , полученные по выборке из нормальной генеральной совокупности, независимы.

Если – случайная выборка объемом n из X? N(μ;σ), то

статистика имеет - распределение с (n -1) степенями свободы.

Доказательство: Не нарушая общности, будем предполагать, что Х-центрированная величина X? N(0;σ), X=x’- μ, причем Перейдем от СВ i=1,N к новой системе СВ , j=1,N

(1)

(2)

Составим матрицу А коэффициентов преобразования

А=

Покажем, что матрица А удовлетворяет ортогональности:

1)

2) Сумма произв. соответствующих 2-х строк или 2-х стобл=0

Таким образом, с помощью ортогональной матрицы А ( ) ) преобразуется в

Ортогональным называется n-мерное преобразование ЛП, сохраняющее длину каждого вектора.

Из (2) и

,

=> Yj-взаимно некоррел.

нормированных нормальных величин

,

Так как … и независимы между собой, тогда независимы и величины и =

12. Случайная величина и статистики, имеющие -распределение. Их применение при оценивании параметров и проверке гипотез.

Если ()-взаимно независимые СВ, имеющие нормированные нормальный ЗР , тогда имеет распределение с числом степеней свободы =k., где k-число нез. слагаемых.

Свойства:1) Если и - есть независим. СВ, имеющие -распределение со степен свободы к1 и к2, то +

При СВ Из определения СВ => , , Bn= - = при n-беск

=> - состоятельная

Распределение хи-квадрат используют при оценивании дисперсии (с помощью доверительного интервала), при проверке гипотез согласия, однородности, независимости, прежде всего для качественных (категоризованных) переменных, принимающих конечное число значений. Критерий согласия Пирсона - χ² – критерий проверки гипотезы о том, что изучаемая случайная величина подчиняется заданному закону распределения: H₀: F(x) = F₀(x).

Наблюдаемое значение статистики критерия рассчитывается на основе данных, представленных в виде вариационного ряда по формуле: ,где m_i – частота i-го значения или интервала (число наблюдений выборки, равных i-му значению x_i, или попадающих в i-й интервал (a_i; b_i), i = 1, …, l;

p_i – вероятность принятия случайной величиной i-го значения или вероятность попадания в i-й интервал;

n – объем выборки n = Σ m_i. Часто для расчетов вводят понятие "теоретической частоты" m_i^T = np_i, что позволяет преобразовать формулу наблюдаемого значения статистики критерия к виду: ,

По теореме Пирсона при истинности гипотезы H₀ и n → ∞, распределение статистики χ²_набл сходится к χ²-распределению с ν = l – r – 1 степенями свободы, где r - число параметров предполагаемого теоретического зако­на, использованных для вычисления теоретических частот и оценива­емых по выборке. Для проверки нулевой гипотезы H₀ на уровне значимости α строят ПКО. P(χ² > χ²_кр(α; l – r – 1)) = α. Гипотеза отвергается на уровне значимости a, если вычисленное значение χ²_набл окажется больше критического χ²_кр(α,ν), найденного по таблицам распределения χ² для уровня значимости a и числа степеней свободы ν = l – r - 1. В противном случае гипотеза не отвергается.

1) Применяется при построении доверительного интервала с заданной надежностью γ для генеральной дисперсии σ² при малых объемах выборки (n≤30).

2) Применяется при проверке гипотезы о значении генеральной дисперсии при нахождении критической области.

3) Применяется при проверке гипотез об однородности ряда дисперсий (Критерий Бартлетта) при нахождении критической области.

4) Применяется при проверке гипотез об однородности ряда вероятностей для биномиального закона распределения (n>30) при нахождении критической области.

5) Применяется при проверке гипотез об однородностей ряда вероятностей в случае полиномиального распределения при нахождении критической области.

6) Применяется при использовании критерия согласия Пирсона.

7) Применяется при нахождении интервальной оценки для остаточной дисперсии σ² с заданной надежностью γ (дисперсионный анализ и однофакторный, и двухфакторный).

13. Случайная величина и статистики, имеющие t -распределение Стьюдента. Их применение в задачах оценивания параметров и проверке гипотез.

Если z- нормированная нормальная СВ , а , причем z и U – независимые, тогда имеет распределение Стьюдента с степенями свободы ,

С его помощью можно вычислить доверительные интервалы, для m и статистические критерии проверки гипотез, касающихся неизвестного среднего статистической выборки из нормального распределения.

Если выборка из , то выборочная характеристика будет иметь распределение Стьюдента c

Доказательство:

; ; преобразуем T умножив и разделив его на

=

· Применяется при построении доверительного интервала с заданной надежностью γ для генеральной средней µ при неизвестной генеральной дисперсии σ².

· Применяется при проверке гипотезы о значении генеральной средней µ при неизвестной дисперсии σ² при нахождении границ критической области; при расчете мощности критерия.

· Применяется при проверке гипотезы о равенстве генеральных средних двух нормальных совокупностей при неизвестных генеральных дисперсиях при нахождении границ критической области.

14. Случайная величина и статистики, имеющие F -распределение, и их применение в математической статистике.

Если и - независимые СВ, имеющие распределение с степенями свободы, то СВ имеет F-распределение () при >

Если по данным двух независимых выборок объемом n₁ и n₂ из нормальных генеральных совокупностей, дисперсии которых равны, т.е , получены исправленные выборочные дисперсии: и , то статистика при > :Док:

, - взаимно независимые исправленные выборочные дисперсии одной и той же дисперсии. M()=M()

Применение: позволяет решить задачу сравнения генеральных дисперсий

· Применение в дисперсионном анализе при проверке основной гипотезы (уровни фактора А не влияют на изменение результативного признака Y), при проверке гипотезы о значении генеральной средней комплекса (для моделей М1 и М2, однофакторный анализ), при проверке нулевой гипотезы об отсутствии влияния фактора А/В/АВ на результативный признак Y (для моделей М1, М2, С1, С2, двухфакторный анализ).

· Применение для проверки гипотезы о равенстве двух генеральных совокупностей

15. Интервальные оценки для генеральной средней, полученной из нормальной совокупности, при известной и неизвестной генеральной дисперсии.

Интервальной оценкой ген. сов. называют интервал , отснос. кот. близкой к доверительной вероятности можно утверждать, что параметр находится внутри данного интервала. h= - - ширина доверительного интервала.

Интервальные оценки для генеральной средней:

При известной дисперсии Пусть из генер.совок Х N(μ;σ), взята выборка . Найдем с довер. вероят. интервалы для μ. Согласно теореме 1 => , тогда T= N(0,1)

Определим такое значение , чтобы )=

Ф(t)-интегр.ф-я Лапласа При неизвестной дисперсии Согласно теореме 5, имеем T= , )= =1-St(;

t_α ↔ St (t_α; ν=n-1)=α, где t_α – знач-е ф-ии Стьюдента,соответствующ. ν =n-1 степ.своб. и вер-ти α=1-γ. При n→∞ (n>30) t опред-ся для γ =Φ(t)

Что будет с Землей, если ось ее сместится на 6666 км? Что будет с Землей? - задался я вопросом...

Конфликты в семейной жизни. Как это изменить? Редкий брак и взаимоотношения существуют без конфликтов и напряженности. Через это проходят все...

ЧТО ПРОИСХОДИТ ВО ВЗРОСЛОЙ ЖИЗНИ? Если вы все еще «неправильно» связаны с матерью, вы избегаете отделения и независимого взрослого существования...

Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: