Более серьезные проблемы ШАМР

Первым проблемным изменением в постановке – отмена независимости входных аргументов. Это реальная проблема в силу того что

1.в реальности входные аргументы часто могут быть коррелированы (СОЕ и температура, белок в моче и краетинин в крови и тд)

2. истинный характер модели нам не известен и в качестве претендентов на входящие аргументы мы должны формировать различные нелинейные комбинации из исходного набора входных аргументов. Ну тот самый базис о котором мы упоминали выше

Для сведения:

линейная корреляция х и х² где-то 0.97 а х и х³ - 0.95 и теперь при истинных аргументах х₁ и х₂, аргумент х₁х₂ может быть фиктивным, но тем не менее иметь большую корреляцию с выходом.

В таких условиях классические шаговые алгоритмы сталкиваются с поблемой множественности решений.

Истинные и фиктивные коррелируют, конкурируют и претендуют на вход в модель. При этом сильно коррелирующий фиктивный оттесняет слабо влияющего с малым коэффициентом истинный аргумент. В результате путь к истинной модели ША может циклится или вообще к ней не прийти. Можете сами попробовать – в этих условиях раззичные алгоритмы дадут результирующие различные структуры, Один и тот же алгоритм часто даст вам разные решения при смене условий счета

– изменений в данных,

- изменений в составе переменных (при неизменной истинной модели и неизменном присутствии истинных аргументов)

- изменений в порядке ввода- вывода аргуменнтов в модель

- изменений в значениях порогов отсева аргументов.

Точное решение возможно только при полном переборе всех моделей претентентов – только тогда получим истинную модель

Но полные перебор чаще всего не возможен –

Действительно рассматривая скажем степенные модели -

Количество членов полного полинома Колмогорова – Габора –

При при входных аргументах и заданной -той его степени

количество членов такого полинома можно рассчитать по формуле

а количество частных моделей которые можно образовать из этого полинома -

Пример.

Таким образом при несчастных 10-ти входных аргументах 4 степени полного описания порождает полинома с что порождает моделей претендентов - это приблизительно моделей которые можно из него построить.

Это число не только изобразить его вообразить невозможно. Тем более пересчитать эти модели.

Попробуте их перебрать за реальное время …..

Итак вывод:

- корреляция входных переменных порождает необходимость разрешения проблемы множественности моделей и соответственно

огромного количества возможных путей перебора среди которых ничтожное меньшинство приводит к модели истинной структуры.

Необходимо предложить решения, позволяющие найти пути к истинной или квазиистинной модели, не прибегая к процедуре полного перебора –

Рассмотренные выше шаговые классические алгоритмы на практике такие задачи решают не эффективно.

Хотя решить такую задачу казалось бы очень просто – задать полный полином и найти по МНК для него коэффициенты для полной структуры.

В этом случае для фиктивных аргументов в уравнении как бы должны выйти нули. Почему же не пользуются этой возможностью?

Потому что, как мы помним, из корреллированности входных аргументов следует воможность коррелированности выходной переменной и фиктивных – что создает реальную конкуренцию при выборе структуры между истинными и фиктивными аргументами.

Еще более усложняет выбор структуры наличие шума в данных.

Ситуация 3

3.П роблема шума в данных

Итак, все дело в шуме, который обязательно присутствует в любых данных и даже минимальные уровень которого, деформирует исходные корреляционные отношения так, что из полного полинома невозможно увидеть истинную структуру.

Теперь оценки параметров при фиктивных, но коррелированных с выходом аргументах, уже точно не будут нулевыми, а значимыми или незначимыми они будут и, насколько значимыми, оценить заранее невозможно.

И даже при полном отсутствии шума в данных, шум все равно в расчетах присутствует, и, чем выше корреляция аргументов, тем хуже обусловленность матрицы (детерминант системы ближе к нулю) аргументов и тем выше уровень вычислительного шума. Поэтому никто мало кто (напрямую) при коррелированных аргументах не оценивает параметры полного полинома.

Более подробно.

И так, коррелированность обуславливает

1. близость к нулю главного дискриминанта матрицы аргументов – чем выше коррелированность аргументов, тем ближе дискриминант к нулю, тем выше погрешность вычислений.

Однако, проблема коррелированности аргументов в присутствии шума имеет еще одну важную особенность:

2. роль самого шума в искажении оценок параметров многократно возрастает. Оценки становятся и несостоятельными и смещенными и неэффективными. И, чем выше коррелированность, тем сильнее эффект искажения.

Покажем это, используя геометрическую интерпретацию получения МНК оценок параметров модели при аргументах х ₁ и х ₂, как коэффициентов проекции исходного вектора в плоскость х ₁, х ₂.

Интерпретацию покажем в пространстве точек (см рис.1).

Очевидно, что если коррелированность аргументов возрастает, то уменьшается угол между векторами х ₁ и х _2,. При малом угле (рис.2) даже совершенно ничтожный шум в данных влияет через коррелированность, как через увеличительное стекло, на смещение положение плоскости аргументов. И, чем меньше угол между векторами, которые определяют плоскость тем легче шум вращает плоскость аргументов.

Рис1 Рис 2 Рис 3 Рис 4

Рис 3 показывает случай коллинеарности векторов х ₁, х _2, что позволяет плоскости вертеться на оси векторов и принимать любое положение. Соответственно и проекции (модели) в эти сдвинутые плоскости будут как угодно разные. Именно поэтому, наиболее предпочтительный вариант проекции в плоскость, это в плоскость, определенную ортогональными (независимыми), а еще лучше ортонормированными векторами –рис.4.

Здесь важно понять, что как только мы определились (выбрали), какими исходными векторами (х ₁, х ₂) определена плоскость, куда будем опускать проекцию – все, модель по сути, уже зафиксирована. Это будет проекция в эту плоскость. И все выше сказанное относится только к тому, как перезадать эту плоскость так, чтобы

А) вычислительный шум минимально повлиял на процесс определения проекции – надо перезадать плоскость ортогональными векторами и

Б) минимизировать сам вычислительный шум нормировав вектора аргументов

См рис 4

Кстати, именно поэтому, шум совсем не так страшен при оценке параметров, когда аргументы независимы – ортогональны: плоскость аргументов при этом максимально устойчива (к вращению шумом) и еще менее страшен, если он ортогонален к Х-ам и у,(тогда в случае ортогональности к выходу у он не войдет в модель, потому что корреляция его равна нулю с выходной переменной.

А устойчивость плоскости – определяет точность полученной проекции (нашей модели) в этой плоскости.

Отдельно проблема коллинеарности может оцениваться близостью главного детерминанта матрицы аргументов к нулю.

Совместное влияние коллинеарности и разброса длин векторов аргументов отражающееся на погрешности вычисления оценок характеризуется понятием обусловленности матрицы аргументов.

Степень обусловленности снизу оценивается т.н. числом обусловленности матрицы равным отношению максимального и минимального собственных собственных чисел матрицы аргументов.

Чем данное отношение больше тем хуже степень обусловленности

Вопрос – ведь данные уже с шумом, значит, уже плоскость определена на неистинных коррелированных аргументах и это уже плохо. И если теперь ортогонализировать вектора – то вроде как «поздно пить боржоми». Но модель полученная на ортогональных векторах будет лучшая с точки зрения того что

1. когда новые вектора приходят и мы их подставляем в модель – выражение модели их преобразует так, как будто мы посчитали модель на независимых некоррелированных векторах, т.о. минимизируя эффект вращения плоскости, на которой мы посчитали значение модели (проекции)

2. Минимизирует нормировкой одну из причин вычислительного шума (а если максимум на которой делим при нормировании меньше 1?).

Итак, для коррелированных аргументов при небольших М (10-20) и Р (2-3) возможно решать задачу структурно параметрического синтеза через полное описание, ортонормируя его в обобщенных аргументах (скажем обобщенные аргументы для МНК формируются как ортогональные полиномы Форсайта).

Но при реальных размерностях практических задач мы опять вынуждены возвращаться к алгоритмам шаговой регрессии, где должна быть предусмотрена ортогонализация и нормировка аргументов при расчете их оценок по МНК (алгоритмы с ортогонализацией Грамма – Шмидта..).

Справка

ЧТО И КАК ПИСАЛИ О МОДЕ В ЖУРНАЛАХ НАЧАЛА XX ВЕКА Первый номер журнала «Аполлон» за 1909 г. начинался, по сути, с программного заявления редакции журнала...

Что способствует осуществлению желаний? Стопроцентная, непоколебимая уверенность в своем...

ЧТО ПРОИСХОДИТ ВО ВЗРОСЛОЙ ЖИЗНИ? Если вы все еще «неправильно» связаны с матерью, вы избегаете отделения и независимого взрослого существования...

Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: