|
ЛЕКЦИЯ 11. Параметрическая идентификация объектов1. Статические детерминированные модели. 2. Динамические детерминированные модели. Применение методов наименьших квадратов и максимального правдоподобия для нахождения точечных оценок параметров. Построенные с по-мощью экспериментального либо экспериментально-аналитического метода математические модели содержат неизвестные константы (параметры), значения которых определяются по экспериментальным данным. Если используемые модели линейны относительно искомых параметров, то за-дача их оценки сравнительно легко решается методами линейного регрес-сионного анализа и, в частности, методом наименыиих квадратов. Оценка неизвестных параметров в методе наименьших квадратов про-изводится с помощью минимизации суммы квадратов рассогласований. Такой подход во многих важных ситуациях приводит к оценкам, обладаю-щим важными свойствами оптимальности. Схему наблюдений называют линейной моделью. Эту модель удобно записать в матричной форме. В данном случае применение метода наименыних квадратов состоит в минимизации суммы квадратов Однако подавляющее большинство моделей нелинейны по парамет-рам, что значительно усложняет методы их оценки. Рассмотрим процедуру идентификации таких моделей более подробно. Пусть имеется т моделей механизма протекания процесса в аппарате. Между случайными величинами обычно существует такая связь, при которой с изменением одной величины меняется распределение другой. Такая связь называется стохастической. Если две случайные величины X и Ү независимы, то дисперсия суммы этих величин равна сумме дисперсий: Д(Х + Ү)=Д(Х) + Д(Ү). Если же данное равенство не выполняется, то величины X и Ү являются зависимыми. Матрица в правой части последнего уравнения называется дисперсионно-ковариационной матрицей, Ее диагональные элементы представляют собой дисперсии случайных величин, а недиагональные — ковариации соответствующих случайных величин, определяющие статистическую зависимость между ними. Рассмотрим сначала однооткликовые модели, т.е. модели с одной вы-ходной переменной. При оценке неизвестных параметров моделей очень часто используется метод максимального правдоподобия, предложенный Р. Фишером и являющийся основой многих процедур проверки гипотез и доверительного интервального оценивания для больших выборок. Пусть имеется непрерывная случайная величина, закон распределения которой задан плотностью вероятности f (х, Ө). Составим функцию правдоподобия: Суть метода. максимального правдоподобия состоит в том, что в ка-честве оценок параметров Өп — (Ө1у Ө2,..., Өр) берут такие значения Ө1г Ө2,..., Өр, при которых fп достигает наибольшего возможного значения. Так как 1 пf /п достигает максимума при тех же значекиях Ө, что и сама fп, то на практике часто удобнее использовать функцию 1 п fп, которую можно называть логарифмической функцией правдоподобия. Значения Ө\, Ө2, …, Өр являются функциями выборки Хі, х2,..., хп и называются оценками максимального правдоподобия. Для нахождения оценок максимального правдоподобия следует ре-шить относительно Ө1гӨ2,..., Өр систему уравнений правдоподобия Если семейство распределений ошибок воспроизводимости еи отве-чает условиям регулярности, то оценки максимальңого правдоподобия в большинстве случаев являются состоятельными в том смысле, что оценка мараметров по вероятности стремится к истинному значению, когда объем опмтов неограниченно растет. Условия регулярности и состоятельности обсспечивают асимптотическую эффективность оценок параметров. Кроме того, если распределение ошибок измерений принадлежит параметрическому эспоненциальному типу, то оценка вектора неизвестных параметров является достаточной, т.е. содержит всю необходимую информацию, имеющуюся в исходных экспериментальных данных. Итак, оценки искомых параметров, найденные методом максимального правдоподобия, при достаточно слабых ограничениях на функцию распределения ошибок еи и ири больших выборках обладают многими важными оптимальными свойствами. При практическом использовании метода максимального правдоподо-бин обычно предполагается известным вид плотности распределения ошибок наблюдений, причем наряду с неизвестными параметрами моделей могут быть оценены и неизвестные параметры плотности распределения. Предположим.что для модели некоторым способом получены оцснки параметров Ө. Пусть поставлены п опытов. Обозначимчерез р(еи, ф) плотность рас-пределения случайной величины еи, а через р(е, ф) — совместную плотность распределения случайного вектора е = (еь е2,..., еп), где ф - вектор параметров плотности распределения, содержащий, в частности, для нормальной плотности величины математического ожидания и дисперсии воспроизводимости. В зависимости от плотности распределения вероятностей ошибок наблю-дений е определяется конкретный вид функции Ь'1' (Ө., ф). Так, если слу-чайные величины еи (и = 1, 2,...,л) независимы и нормально распределеңы с нулевым средним и известными дисперсиями. Отметим, что при нормально распределенных ошибках наблюдений оценки нараметров, найденные методом максимального правдоподобия и методом наименьших квадратов, совпадают и поэтому они обладают общими оптимальными свойствами. В соответствии с принципом максимального правдоподобия оценки параметров максимального правдоподобия Ө при известной дисперсионно-ковариациониой матрице изменений максимизируют, если вектор параметров Ө минимизирует величину. Если матрица 2 - диагональная, то представляет собой взвешенную сумму квадратов остатков. Если дисперсионно-ковариационная матрица ошибок наблюдений априори неизвестна, то, используя байесовский подход, оценки параметров максималького правдоподобия получают минимизацией по параметрам В ряде случаев.особенно при распределениях ошибок наблюдений, ог-личных от нормальных, испояьзование метода максимального правдонодо-бия приводит к иным критериям, характеризующим стеііенъ близости рас-четных и экспериментальных данных. В частности, если ошибка распределена по Лапласу, то необходимо использовать для однооткликовых ситуаций метод наименьших модулей и соответственно критерий равенства. Интервальные оценки параметров. Выше говорилось о точечных оцен-ках искомых параметров моделей, полученных методом максимального правдоподобия. Последние, хотя и обладают некоторыми оптимальными асимптотическими свойствами, но не обеспечивают важную дополнитель-иую информаиию о точности определяемых оценок и о мере нелинейности модели особенно в малых выборках. Такую ннформацию содержат харак-терситики доверительных областей. Доверительный интервал (доверительная область) для некоторого параметра (совокупности параметров) функции распределения есть интер- вал (область) в параметрическом пространстве, определяемый достаточной статистикой выборки измеренных величин и обладающий тем свойством что вероятность того, что он содержит "истинное" значение параметра, равна по крайней мере наиеред заданному значению а. Величину а называют доверительным уровнем. Рассмотрим сначала случай, когда модель f (х, Ө) является линейной функцией параметров (т.е.f(х, Ө) = хӨ). Оценки максимального правдо-подобия Ө здесь являются наилучшими линейными несмещенными оцен-ками Ө, и точные доверительные области Ө могут быть построены с исполь-зованием декомпозішии суммы квадратов на остаточную сумму квад-ратов и сумму квадартов, обусловленную регрессией. В случае достаточности оценки остаточная сумма квадратов не за-висит от Ө, азависит только от х и у. Рассмотрим теперь задачу построения точных доверительных областей для параметров Ө в случае нелинейных относительно параметоов моделей, общий интегральный вид которых может быть записан как f(д:, Ө). Данная задача по сравнению с линейным случаем резко усложняется, так как для нелинейных по параметрам моделей не существует множества достаточных статистик. Однако при определенных условиях регулярности для f(х, Ө) и при многомерном нормальном распределении существует множество статистик, совместно достаточных для Ө; это имеет место тогда и только тогда, когда f(х, Ө) существенно линейна. Д ля аппроксимации f (х, Ө) линейной формой необходимо разложить f (х, Ө) в подходящие многомерные ряды с их последующим усечением Выбор осушествляют таким образом, чтобы было достигнуто наилучшее приближение f (х, Ө) усеченным рядом. Затем выбирают квадратичные формы чтобы построить 100 а %-ные доверительные области для Ө. При этом точность аппроксимации практически не влияет на точность оценки вероятности выполнения неравенства. Таким образом, в общем случае для нелинейно параметризованных моделей большая часть результатов, полученных для линейных моделей, неприменима. В самом деле, даже если ошибка измерений нормальна, вектор параметров может не быть нормально распределенной величиной. Для линейных моделей 5 (Ө) представляет собой квадратичную фор- Му и, следовательно, доверительные области являются эллиптическими, длм нелинейных они уже не эллиптические и, как правило, несимметричны • N йананоподобны. Если нелинейно параметризованная модель содержит ' только два параметра, то контур доверительных интервалов сравнительно ■ Легко построить. Если же число параметров больше двух, то можно вычер- тип. соответствующие сечения на координатных плоскостях. Рассматри- ввемая процедура построения доверительных областей обладает, однако, ивжиыми асимптотическими свойствами в том смысле, что действительная ("іістинная") доверительная вероятность сходится к выбранному априори значению, когда объем выборки неограниченно возрастает. Показано, чтс при определенных условиях регулярности оценки параметров Ө состоятель ны и асимптотически нормальны. В таком случае множество Ө, удовлет воряющих неравенству 8 0) -5 0)<Х2а(р), (279) определяет асимптотически 100 а %-ную доверительную область для Ө. Все же в большинстве случаев оценивание параметров в нелинейных моделях проводится по небольшим совокупностям экспериментальных данных и поэтому результаты асимптотической теории малопригодны на практике, Построение доверительных интервалов параметров нелинейных мо-делей может проводиться с учетом степени нелинейности модсли. Мера, учитываюшая степень целинейности /(х, Ө), позволяет усгановить, для каких нелинейно параметризованных моделей /(х, Ө) без заметных по-грешностей можно построить доверительные обяасги, используя вместс /(х, Ө) линеаризованные модели. Однако при величинах меры нелиней-ности, больших единицы, данный метод построеішя доверихельных облас-тей становится уже непригодным. Интервальные оценки параметров нелинейных моделей при срав-нительно небольших затратах на вычислительную работу позволяет полу-чить метод поочередной оценки приближений искомого параметра (джек-найф-метод). Этот метод, не требующий использования никаких предпо-ложений о нормальности ошибок измерений или их однородности, дает возможность определить оценки Ө, которые асимптогически нормальн'. распределены. Для проверки гипотезы о среднем значении и вычисления доверитель-иого интервала в одномерном случае обычно используется статистика, по-лучающаяся в результате деления разности между выборочным средним значением 0 и гипотетическим математическим ожиданием 0 генеральной совокупности на среднеквадратическое отклонение а. Основываясь на зтом, можно построить критерий для проверки гипотезы Ө = Ө0, где Ө0 — задан-ное число, или построить доверительный интервал для неизвестного па-раметра. Совокупносгь точек, координаты которых удовлетворяют условию, образуют в р-мерном пространстве гиперэллипсоид, размеры и форма когорого зависят от уровня значимости а. Отметим, что эллипсоид, удовлетворяющий условию, конечно, является случайным, так как случайна выборка Отметим, что численные значения оценки при п зависят от исходного разбиения вектора наблюдений на подвекторы к, так как индквидуальные наблюдения в общем имеют неидентичные распределения. Если план эксперимента предусматривал проведение к повторных измерений а каждой из т точек (п = кт), то обычно выбирают п — к и исключают последовательно по одной полной реплике при конструировании процедуры. Часто при применении этой процедуры полагают, что устраняет неопределенность в разбиении у на подвекторы У т более надежные результаты. Байесовские оценки параметров. В рассмотренных выше методах оценки параметров нелинейных моделей совсем не использовалась априорная (известная цо эксперимента) информация о параметрах, которой во многих случаях располагает исследователь. Дело в том, что практически всегда ещедо постаиовки эксперимента исследователь имеет некоторое представление о числовых значениях парамегров модели. В частности, исходя из физического смысла изучаемого процесса, он может заранее исключить значения ряда параметров как невозможные, либо установить предлочтителнгость одних числовых значений параметров перед другими. Все свои априорные сведения исследователь закладывает в так называемом априорном распределении параметров Ғ0 0) или априорной плотности распределения рп 0). Функция плотности распределения параметров р0 0) является неотрицательной и обладает следующим свойством; Ро 0 і) /ро (Ө 2) > 1. если значения вектора параметров Ө х правдоподобнее значений 02- При этом не требуется выполнения условий нормировки ір0 (Ө)О.Ө = I. Очевидно, что равномерная априорная плотность распреде-ления параметров характеризует ситуацию, когда все значения Ө равновероятны в допустимой области существования параметров. После формализации априорных сведений об изучаемом процессе и построения априорной плотности распределения параметров р0 (Ө) исследователь проводит эксперимент. При этом вся экспериментальная информация содержится в функции правдоподобия Ь (Ө\у). Тогда вся информация, характеризующая параметры Ө, будет сосредоточена в апостериорной (полученной после эксперимента) плотности распределения р(Ө \у), После построения апостериорной плотности распределенияр(Ө |_у) пе-реходят к непосредственному расчету точечных оценок вектора парамет-ров 6. В статистике оценки Ө, использующие априорную инф^ормацию и вычисленные по апостериориой плотности распределения р(Ө\у), носят название байссовских оценок, Чаще всего в физико-химических иссле-д^ованиях в качестве байесовской оценки параметров используют оценку Ө, удовлетворяющую условию,что является естественным обобщением метода максимального правдо-подобия на задачи байесовского оценивания. Оценки Ө иногца называют обобщенными оценками максимального правдотюдобия. Они, в частности, совпадают с оценками максимального нравдоподобия, если плотность распределения р0(Ө) равномерна. Кроме того, вектор истинных значений параметров Өис7 сходится к Ө при любом Ро(Ө) и при неограниченном увеличении объема выборки. Следовательно, оценки Ө обладают свойствами состоятелытости и асимптотической эф-фективности, как и оценки максимального правдоподобия. Отметим в заключение, что построение точной апостериорной плот-ности распределения параметров Ө возможно только для линейно парамет-ризованных моделей. Однако большинство моделей химико-технологи-ческих процессов являются нелинейно параметризованными. Поэтому для них обычно требуется линеаризация по параметрам.
ЧТО ПРОИСХОДИТ, КОГДА МЫ ССОРИМСЯ Не понимая различий, существующих между мужчинами и женщинами, очень легко довести дело до ссоры... ЧТО ПРОИСХОДИТ ВО ВЗРОСЛОЙ ЖИЗНИ? Если вы все еще «неправильно» связаны с матерью, вы избегаете отделения и независимого взрослого существования... Что будет с Землей, если ось ее сместится на 6666 км? Что будет с Землей? - задался я вопросом... Что вызывает тренды на фондовых и товарных рынках Объяснение теории грузового поезда Первые 17 лет моих рыночных исследований сводились к попыткам вычислить, когда этот... Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте:
|