Задача параметрического синтеза

Постановку задачи для поиска коэффициентов по методу наименьших квадратов ( МНК) при фиксированной структуре модели:

Задана матрица значений аргументов

(**) и вектор выхода ,

1.Введем предположеие – достаточно сильное и тем неприятное - – предположим что модель линейна по параметрам

Предположение вводится в основном потому что мы умеем решать такие задачи, а не потому что это как то обосновано, Здесь есть нечто общее с тем что «будем искать потеряное под.фонарем, потому что там видно а не потому что там потеряли».

2 Наконец предполагаем что нам известна структура то есть сейчас мы занимаемся задачей параметрического синтеза

Если тепер, как мы говорили выше, функционал качества задачи моделирования выбрать в виде сумм квадратичных. невязок

J(у) = (**)

то для определения вектора параметров достаточно решить систему линейных уравнений (*О*)

Действительно вспомним условия экстремума функций, тогда понятно откуда получена система (*О *)

Обратим внимание что систему получим линейную отностельно а_j

Все достаточно просто.Решая эту систему получаем наилучший вектор парамеров а который дает минимум функционалу (**)

Таким образом решается задача параметрического синтеза.

Для частного случая одномерной регресии У=ах+в, его решение МНК можно получить как простые формулы для , где - коэффициент регрессии, , -коэффициент корреляции х ,у,

и , выборочные среднеквадратические отклонения и выборочные математические ожидания случайных величин и

, , ,

№2

Но если регрессия не одномерная, то никто в наше время в расчетах не записывает функционал в скалярном виде, не берут производные, не составляют системы скалярных уравнений и тд. Для решения задачи поиска параметров регрессии пользуются матричные представления данных и операций. Я пользовался выше скалярной записью, только затем, что-бы в начале было проще показать смысл процедур поиска параметров.

Упрощенный вывод формулы МНК в матричном виде

Напомним

1.– Для умножения матриц А и В – А*В=С

–то есть получения элемента необходимо взять в А (первой матрице) j-тую строку и в В (второй матрице) k-тый столбец и образовать скаляное поизведение .

2. Траспонирование

– столбцы делает строками, строки столбцами

(в квадратной матрице – просто зеркально отображаем относительно гл диагонали)

3.Обратная матрица А^-1 матрицы А это такая матрица для которой выполняется А^-1 _*А=Е, где единичная матрица

Итак имеем матрицу Х и вектор выхода У

необходимо построить модель линейной структуры

Уже понимаем почему пишем Х а а не а Х

При этом необходимо максимально приблизить с помощью вектора а матричное соотношение (***)

В скалярном виде это соответствует наилучшему приближению

в первой точке

………… в n -ой точке - (***)

Далее будем исходить из (***) как из равенства и будем из него искать а. Более обосновано вывод проведем немного позже. Итак имеем

Для того что-бы освободить а (умножить то что при а на обратную Х матрицу и получить в результате Е – ед матрицу) надо чтобы при а стояла квадратная матрица.

Умножим слева и справа на Х^Т получим Теперь поскольку Х^ТХ – квадратная – можем ее умножить на обратную -

слева и справа на (Х Х^Т)^-1

и окончательно имеем для а

и для модели

Все - И все расчеты проводятся по этой формуле

- в любых инжененых пакетах реализованы матричные операции -

все очень просто (мы поработаем на практике) и

не очень просто в связи с операцией взятия обратной матрицы и понятием плохой обусловленности матрицы.

Что это - плохая обусловленность матрицы:

напомним о так наз. собственных числах матрицы

/А-лЕ/=0......для опред Л - решаем степенное уравнение соответствующего порядка напомним на примере 2-го порядка

ПлОбМа возникает когда λmin << λmax.

и численно мера ПОМ выражается их отношением

или близостью к нулю ее детерминанта -

Этот эффект ПОМ обычно набл когда в А одновременно присутствуют очень большие и очень малые числа - тогда при операции нахождения обратной матрицы обусловленность резко ухудшается (очень малые числа деляться на очень большие) и лавинообразно растет погрешность (изза выхода значущих цифр за пределы разрядной сетки ВМ)- решение теряется в эффекте ПлОбМа

Это одна из причин что РА только начинается а не заканчивается на формуле для а. Преодоление ПОМ - различные олгоритмя регуляризаци матрицы А......желательно с минимальной потерей ее эквивалентности

Другие проблемы больше связаны с задачей структурного синтеза - об этом позже А пока более строгий вывод, который

повторяет логику, изложенную для скалярного вида:

Пусть размерность задачи m перем и n точек

Критерий по которому работает МНК: минимировать сумму квадратов ошибок е_i =У_i-(а_о+а₁х_1i+…+а_mx_mi) модели У=а_о+а₁х₁+…+а_mx_m в заданных точках. В матричном виде, модель У=Ха должна минимизировать критерий в матричной форме:

Дифференцируя эту функцию по вектору параметров и приравняв производные к нулю, получим систему уравнений (в матр. форме)

, отсюда (**) и далее решая (**) можем найти вектор а=(х^тх)^-1х^ту

В расшифрованном матричном виде эта система уравнений имеет вид

= X и X^TX - осн

Где все суммы берутся по количеству точек

Если в модель включен свободный член то для всех i

Это и есть т.н. нормальная система уравнений X и X^TX - осн зол матр мод

ЧТО И КАК ПИСАЛИ О МОДЕ В ЖУРНАЛАХ НАЧАЛА XX ВЕКА Первый номер журнала «Аполлон» за 1909 г. начинался, по сути, с программного заявления редакции журнала...

ЧТО ПРОИСХОДИТ, КОГДА МЫ ССОРИМСЯ Не понимая различий, существующих между мужчинами и женщинами, очень легко довести дело до ссоры...

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

Что будет с Землей, если ось ее сместится на 6666 км? Что будет с Землей? - задался я вопросом...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: