Как сделать ммп

Добавил пользователь Дмитрий К.
Обновлено: 04.10.2024

Презентация на тему: " Лекция 5 Метод максимального правдоподобия. ММП позволяет получить по крайней мере асимптотически несмещенные и эффективные оценки параметров распределения." — Транскрипт:

1 Лекция 5 Метод максимального правдоподобия

2 ММП позволяет получить по крайней мере асимптотически несмещенные и эффективные оценки параметров распределения В основе ММП лежит понятие функции правдоподобия выборки Определение. Пусть имеем случайную величину Y, которая имеет функцию плотности вероятностей P y (t, a 1,a 2,…,a k ) и случайную выборку Y(y 1,y 2,…,y n )наблюдений за поведением этой величины. Тогда функцией правдоподобия выборки Y(y 1,y 2,…,y n ) называется функция L, зависящая от аргументов а=, и от элементов выборки как от параметров и определяется равенством:

3 Функция правдоподобия : Основные свойства функции правдоподобия 1. Правая часть равенства имеет смысл значения закона распределения выборки при случайных значениях параметров t 1 =y 1, t 2 =y 2,…, t n =y n. Следовательно, функция правдоподобия L также случайная величина при любых значениях аргументов а= 2. Все значения функции правдоподобия L 0. Эти свойства являются следствием свойств выборки

4 Идея метода. В качестве оценки неизвестного параметра принимается такое, которое обеспечивает максимум функции правдоподобия при всех возможных значениях случайной величины Y Математически это выражается так: ã j = argmax(L(a 1,a 2,…,a k, y 1,y 2,…,y n ) Очевидно, что оценка ã j зависит от случайной выборки, следовательно, ã j = f(y 1,y 2,…,y n ), где f есть процедура вычисления оценки ã j по результатам выборки

5 Алгоритм решения задачи Предполагается: 1. Вид закона распределения известен; 2. Функция плотности вероятности гладкая во всей области определения Последовательность решения: 1. Составляется функция правдоподобия 2. Вычисляется логарифм функции правдоподобия 3. Оценки параметров получаются в результате решения системы уравнений вида: 4. Проверяется условие максимума функции правдоподобия

8 Решение. Шаг 1. Запишем функцию правдоподобия выборки (5.3) (5.4) Шаг 2. Логарифмирование функции (5.4) (5.5)

9 Для удобства введем обозначение: (5.6) Шаг 3. Вычисляем производную функции ln(L) и приравниваем ее нулю (5.7) Уравнение (5.7) имеет единственный корень: (5.8)

10 Убедимся, что корень (5.8) соответствует максимальному значению функции правдоподобия (5.4) Вычисляем вторую производную логарифма функции правдоподобия (5.4): Шаг 4. Проверка выполнения условий оптимальности Несмещенность Вывод. Получена несмещенная оценка при выборке любого объема

11 Метод проверки условия эффективности базируется на использовании неравенства Рао-Крамера Оно позволяет оценить нижнюю границу точности, с которой можно несмещенно оценить неизвестные параметры Нижняя граница соответствует минимальной дисперсии оценки Следовательно, если дисперсия полученной оценки равна нижней границе, то эта оценка удовлетворяет условию эффективности

13 Оценим нижнюю границу дисперсии параметра p Найдем значение информационного количество Фишера Следовательно, неравенство Рао-Крамера для σ 2 (р) имеет вид: (5.10) Вычислим дисперсию оценки (5.8) (5.11)

14 Задача 2. Получить ММП оценки случайной величины, имеющей нормальный закон распределения Имеем выборку Y= Переменная Y имеет нормальный закон распределения: Необходимо найти значения параметров а и σ 2

15 Шаг 1. Составление функции правдоподобия (5.12) Шаг 2. Логарифмирование функции (5.12) (5.13)

16 Шаг 3. Дифференцируем выражение (5.13) по параметрам а и σ 2, решаем полученную систему уравнений Замечание. Для удобства введем переменную s= σ 2 ! (5.14) (5.15) Из уравнения (5.14) следует, что (5.16) Из уравнения (5.15) следует, что (5.17)

17 Шаг 4. Проверяем несмещенность и эффективность оценок (5.16) и (5.17) 1. Несмещенность оценки (5.16) 2. Несмещенность оценки (5.17) Вывод. Оценка (5.16) параметра а является несмещенной Оценка (5.17) параметра σ 2 асимптотически несмещенная

18 2. Проверка эффективносити оценок (5.16) и (5.17) Вычисляем элементы информационной матрицы Фишера

19 В результате информационная матрица Фишера и ее обратная матрица принимают вид: Вычислим дисперсии оценок (5.16) и (5.17) Дисперсия оценки мате- матического ожидания Дисперсия оценки параметра σ 2

Аннотация: Цель работы: практически освоить метод максимального правдоподобия для точечной оценки неизвестных параметров заданного вероятностного распределения случайной величины. Среда программирования — MATLAB.

Теоретическая часть

Метод максимального или наибольшего правдоподобия предложен Р. Фишером [6, 13]. С помощью этого метода производится точечная оценка неизвестных параметров априорно известного закона распределения случайной величины.

Рассмотрим сначала суть метода при оценке параметров дискретного распределения случайной величины [6].

Обозначим вероятность того, что в результате испытания величина примет значение \mbox< >(i=1,2. n)" />
, через .

Определение. Функцией правдоподобия случайной дискретной величины называют функцию аргумента :

( 7.1)

где ,\mbox< >x_. x_" />
— фиксированные числа, полученные при измерении случайной величины .

В качестве точечной оценки параметра принимают такое его значение =\theta^(x_1,x_2. x_n)" />
, при котором функция правдоподобия достигает максимума. Оценку " />
называют оценкой максимального правдоподобия .

Для упрощения расчетов в рассмотрение вводится логарифм функции правдоподобия , которую называют логарифмической функцией правдоподобия . Функции и достигают максимума при одном и том же значении своего аргумента, поэтому вместо отыскания максимума функции ищут максимум функции . Записывая необходимое условие экстремума функции правдоподобия в случае скалярного параметра, получаем уравнения правдоподобия

( 7.2)

( 7.3)

где — заданная выборка случайных величин.

Уравнение правдоподобия (7.3) с логарифмической функцией, как правило, более простое относительно функции правдоподобия (7.2).

Если распределение случайной величины зависит от вектора параметров , то уравнение (7.3) заменяется системой уравнений

( 7.4)

Именно уравнения (7.3) и (7.4) принято называть уравнениями правдоподобия [13]. Во многих случаях решение системы (7.4), являющейся, как правило, нелинейной, приходится искать численными методами.

Рассмотрим применение метода максимального правдоподобия для оценки параметров непрерывного распределения случайных величин генеральной совокупности .

Пусть — непрерывная случайная величина , которая в результате испытаний приняла значения ,\mbox< >x_. x_" />
. Предполагается, что вид плотности распределения задан, но неизвестен параметр , которым определяется эта функция .

Определение. Функцией правдоподобия непрерывной случайной величины называют функцию аргумента

( 7.5)

— фиксированные числа.

Оценку максимального правдоподобия неизвестного параметра распределения непрерывной случайной величины ищут так же, как в случае дискретной величины.

Замечание. Если плотность распределения непрерывной случайной величины определяется двумя неизвестными параметрами и , то функция правдоподобия является функцией двух независимых аргументов и :

( 7.6)

Как для дискретных распределений, так и для непрерывных точку максимума логарифмической функции распределения аргумента можно искать через необходимое условие экстремума :

Найденную точку максимума " />
принимают в качестве оценки максимального правдоподобия параметра .

Метод максимального правдоподобия имеет ряд достоинств: его оценки, вообще говоря, состоятельны (но они могут быть смещенными), распределены асимптотически нормально (при больших значениях приближенно нормально) и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками; если для оцениваемого параметра существует эффективная оценка " />
, то уравнение правдоподобия имеет единственное решение " />
; этот метод наиболее полно использует данные выборки об оцениваемом параметре, поэтому он особенно полезен в случае малых выборок. Недостаток метода состоит в том, что он часто требует сложных вычислений.

Практическая часть

1. Оценка параметра экспоненциального распределения

Рассматривается пример поиска методом максимального правдоподобия оценки параметра экспоненциального распределения случайной величины, для которой функция плотности имеет вид

( 7.7)

К характеристикам экспоненциального распределения относятся математическое ожидание и дисперсия :

( 7.8)

( 7.9)

Замечание. Во встроенных функциях MATLAB параметром экспоненциального распределения является математическое ожидание случайной величины.

Возможная программная реализация точечной оценки параметра экспоненциального распределения:

1. Видоизмените программу так, чтобы параметры задачи вводились в одном диалоговом окне .
2. В соответствии с номером компьютера задайте следующие значения параметра:

№ 1: ; № 2: ; № 3: ; № 4: ; № 5: ;

№ 6: ; № 7: ; № 8: ; № 9: ; № 10: .

Число прогонов программы выберите по равномерному закону из следующих интервалов (в соответствии с номером компьютера):

В основе метода максимального правдоподобия лежит понятие функции правдоподобия. Пусть X = (Х_ь Х₂, . Х„) — случайная, а х = = (*!, х₂, . х„) — конкретная выборка из генеральной совокупности X. Напомним, случайной называют выборку, удовлетворяющую следующим условиям:

? случайные величины Х,,Х₂. Х„ независимы, т.е.

Из определения следует: чем вероятнее (чем правдоподобнее) при фиксированном 0 набор х, тем больше значение функции правдоподобия Цх, 0), отсюда и ее название.

Согласно методу максимального правдоподобия, оценка максимального правдоподобия 0 (П) =(б* п 2 П) ,0* П) ,| параметра 0 = = (б,, 0₂,0*), при заданном наборе дс определяется из условия:

где — область допустимых значений для 0.

Естественность такого подхода к определению оценки 0 (П) вытекает из смысла функции L: при фиксированном 0 функция Цдс, 0) — мера правдоподобия набора дс; поэтому, изменяя 0, можно проследить, при каких его значениях набор дс является более правдоподобным, а при каких — менее, и выбрать такое значение 0 (П) , при котором имеющийся набор д: будет наиболее правдоподобным.

В ряде случаев 0 (П) удобнее определять из условия:

идентичного условию (7.2.6): если вместо функции L взять In L, точка максимума не изменится. Функцию In L (дс, 0) называют логарифмической функцией правдоподобия.

Согласно формуле (7.2.7), для нахождения 0 (П) следует:

? найти решения системы уравнений максимального правдоподобия

при этом решением считается лишь такой набор 0* = = (0р 0₂,0*), удовлетворяющий (7.2.8), в котором каждое

• 0* действительно зависит от дс;
• ? среди решений, лежащих внутри области , выделить точки максимума;
• ? если система (7.2.8) не определена, не разрешима или если среди ее решений нет точки максимума внутри , то точку максимума следует искать на границе области .

Пример 7.4. Нахождение оценок параметров нормального распределения методом максимального правдоподобия. Найдем методом мак- симапьного правдоподобия оценки параметров а и h = о 2 нормального распределения. Согласно формуле (7.2.5), функция правдоподобия

так как Д > 0, а А 2 ) является точкой максимума функции In L. Поэтому оценки максимального правдоподобия = х , д 2 = а 2 . Оценки совпали с оценками метода моментов.

Пример 7.5. Нахождение методом максимального правдоподобия оценок параметров а и b равномерного на отрезке [а, Ь] распределения. Согласно формуле (7.2.5), функция правдоподобия

Система (7.2.8) нс имеет решения относительно а и Л. Оценки а (П> и Л (П > следует искать на границе области допустимых значений для а и Л:

Тогда условие (7.2.6) примет вид:

( = х₍₁₎,Л (П) = х_(л) ). Это и будут оценки максимального правдоподобия параметров а и b равномерного на отрезке [а, Ь] распределения (эти оценки отличаются от оценок а = х - Сл/з , b = х + 6/з , которые можно получить методом моментов при использовании первого и второго начальных моментов).

Пример 7.6. Нахождение методом максимального правдоподобия оценки вероятности р успеха в единичном испытании. Случайная величина X — число успехов в единичном испытании: Р(Х = х) = р х ( 1 - -р)'~’, х = 0,1; р — вероятность успеха в единичном испытании. Найдем оценку максимальног о правдоподобия /) , располагая выборкой х = (.г,, х₂,. -О, Г Д С x i — число успехов в 1-м испытании.

Согласно формуле (7.2.5), Цх,р)= YP(X=x_i,p)=p-' (1 -рГ^;

р (П) =— Vx_f =— , где т — число успехов в п испытаниях Бернулли (та- п /=1 п

кую же оценку можно получить и методом моментов). Эта оценка состоятельная, несмещенная и, в чем нетрудно убедиться, эффективная.

Отмеченная выше естественность определения оценок максимального правдоподобия из условия (7.2.6) подкрепляется их хорошими свойствами. Если функция плотности f_x(x, 0) (функция вероятности Р (X = х, 0), если X дискретна) удовлетворяет достаточно общим условиям регулярности, оценка максимального правдоподобия 0 (П) имеет при больших п распределение, близкое к нормальному с математическим ожиданием, равным 0, и дисперсией, равной 1/[я/(0)], где /(0) определяется соотношением (7.1.9), является состоятельной, асимптотически несмещенной и асимптотически эффективной; более того, если существует эффективная оценка параметра, она будет единственным решением уравнения максимального правдоподобия.

Кроме описанных методов оценивания параметров существует ряд других, например метод наименьших квадратов, согласно которому оценка 0 параметра 0 находится из условия:

Обратим внимание на то, что при оценивании математического ожидания нормального распределения с известным значением дисперсии условие (7.2.9) идентично условию метода максимального правдоподобия (7.2.6).

В последние годы развиваются так называемые робастные, или устойчивые, методы оценивания, позволяющие находить оценки, хотя и не являющиеся наилучшими в рамках предполагаемого закона распределения, но обладающие достаточно устойчивыми свойствами при отклонении реального закона от предполагаемого.

Метод максимального правдоподобия

Метод максимального правдоподобия, сокращенно ММП (термин был впервые использован в работе Фишера, 1922) - это общий метод оценивания параметров генеральной совокупности с помощью максимизации функции правдоподобия L выборки.

Функция правдоподобия L есть совместное распределение выборки, которое представляет собой функцию параметра .

- вектор неизвестных параметров модели

Если выборка имеет непрерывное распределение, функция правдоподобия L описывается совместной плотностью распределения

В случае, если элементы выборки имеют дискретное распределение, функция правдоподобия принимает вид

Величину можно считать мерой правдоподобия значения θ при заданной реализации x.

Пусть L - функция правдоподобия выборки; при наблюдаемых значениях - является функцией параметров θ.

Тогда оценками максимального правдоподобия θ называются наиболее правдоподобные значения максимизирующие функцию L.

=

Очевидно, оценки зависят от наблюдений В широких предположениях эти оценки являются оптимальными.

Часто проще искать точку максимума функции , которая совпадает с в силу монотонности логарифма.

Пусть - это элемент пространства Если открытый интервал, а дифференцируема и достигает максимума на то оценки максимального правдоподобия удовлетворяют уравнению

Читайте также:

  
• Как сделать утенка из яйца
  
• Как сделать своего персонажа в rpg maker mv
  
• Как сделать патруль
  
• Как сделать пену для коктейля в сифоне
  
• Как сделать каменный кирпич с монстрами