Напомним осн. правила матричных операций

1.– Умножения – А*В=С - то есть для получениия jk-того элемента С - в А берут j-тую строку, в В k-тый столбец и их скалярно перемножают.

2. Траспонирование

– столбцы делает строками, строки столбцами

(в квадратной матрице – просто зеркально

отображаем относительно гл диагонали)

кроме того: (АВ)^Т=В^Т А^Т и следствие (АВС)^Т=С^ТВ^ТА^Т

3.Обратная матрица А^-1 матрицы А это такая матрицадля которой выполняется

А^-1 _*А=Е, где единичная матрица

4.Свойство ортогональности векторов а и в:

Наше требование к регресии - выполнение равенств - что должно бы выполняться - в первой точке

………… в n -ой точке - (*)

На самом деле выполнить их невозможно ввиду предположения

Эти условия (требования) (*) в матричном виде можно записать как

(именно в таком порядке =операция умножения – срока Х на столбец а)

Для решения задачи регрессии среди всех моделей нужно выбрать ту которая удовлетворяет условиям (*) наилучшим образом в смысле функционала (1)

Матричную запись модели можно представить как уже выполн. условие (вместо ) с найденными оценками .

То есть в результате решения мы находим такие которые формируют наилучшим образом приближая условие

Приближение это реализуется МНК как проектирующий механизм. Покажем это

Если выражение, которое нам надо приблизить в матричном виде выглядит как

то естественно что матричный аналог квадратичной невязки (1) –это . Эта ошибка есть расстояние от вектора до вектора .

Вектор должен лежать в пространстве переменных (столбцов) матрицы , так как есть линейная комбинация столбцов этой матрицы с коэфф. .

Отыскание решения по методу наименьших квадратов эквивалентно задаче отыскания такой точки (вектора)

которая лежит ближе всего к и находится при этом в пространстве столбцов матрицы .

Таким образом, вектор должен быть проекцией на пространство столбцов и вектор невязки должен быть ортогонален этому пространству.

Далее для упощения записи вывода формулы МНК отрбросим значки “тильда”

Ортоганальность вектора невязки пространству можно определить след образом:

При произвольном вектор - это любой произвольный вектор, который можно положить в гиперплоскость построенную на векторах .

Для всех в пространстве , эти вектора должны быть перпендикулярны невязке , в силу этого – условие отрогональности:

Так как это равенство должно быть справедливо для произвольного вектора , то (*)

Таким образом мы нашли сооошение дающее решение по МНК несовместной системы условных уравнений , состоящей из n уравнений с m неизвестными (*)

которая называется системой нормальных уравнений

Если столбцы матрицы линейнонезависимы????, то матрица обратима и можем получить решение для - одна их причин треб незав Х - и чем ближе к ЛЗ будут вектора тем хуже обусловлена

(**)

Правда, естественно, решение не в том смысле, что оно превращает его в равенство, а в том, что в пространстве находит ближайший к нему вектор - проекцию . Вот для него имеем равенство

Что и есть решение – основная народнохозяйственная ф-ла МНК

(брать производн. ф-ла,, приравн его=0, решать систему– проверте на примерах).То есть машина производных не берет а реалмзует полученную матричную формлу различными вычисдтельными процедурами. Самое слабое место – обращение матрицы, особенно при ее плохой обусловленности (корр переменных) – это будет у нас отдельный разговор.

*2 ====== Оператор проектирования. Свойства оператора.

Полученный результат имеет полезное для приложений свойство –

Из выражение получаем формулу оператора проектирования вектора в плоскость :

Проекция вектора на пространство столбцов матрицы имеет вид (подставляя значение из (**))

Матрица

называется матрицей проектирования вектора на пространство столбцов матрицы .

Посмотрите какой интересный вид у нее.

Эта матрица имеет два основных свойства:

1. она идемпотентна , и

2. она симметрична - .

Проверим

1.

2.по 2 = = = = Или более просто по 3 - центральную скобку не трогаем при перестановке, края меняем местами и транспонируем, ценр тоже транспонируем

= =

Очень важно что верно и обратное: матрица Р, обладающая этими двумя свойствами есть матрица проектирования на свое пространство столбцов Х произвольного вектора У.

Данные свойства могут использоватся при проверке корректности использования МНК (в первую очередь зашумленность данных)

- потеря указанных свойств матрицей Р служит сигналом что оценки МНК (в силу нарушения условий применения - о них ниже) потеряли свое качество

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

Живите по правилу: МАЛО ЛИ ЧТО НА СВЕТЕ СУЩЕСТВУЕТ? Я неслучайно подчеркиваю, что место в голове ограничено, а информации вокруг много, и что ваше право...

Что будет с Землей, если ось ее сместится на 6666 км? Что будет с Землей? - задался я вопросом...

ЧТО ПРОИСХОДИТ ВО ВЗРОСЛОЙ ЖИЗНИ? Если вы все еще «неправильно» связаны с матерью, вы избегаете отделения и независимого взрослого существования...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: