Моделі нейронних мереж. Мережі з прямими зв'язками. Багатошарові нейронні мережі

ЛЕКЦІЯ 5

НЕЙРОМЕРЕЖІ

Моделі нейронних мереж. Мережі з прямими зв'язками. Багатошарові нейронні мережі

Типовий персептрон складається з трьох основних компонент:

1. матриці бінарних входів (сенсорних нейронів чи «сітківки», куди подаються вхідні образи);

2. набору бінарних нейроподібних елементів (чи предикатів у найбільш загальному випадку) з фіксованими зв'язками до підмножин сітківки («детектори ознак»);

3. бінарного нейроподібного елемента зі зв'язками, що модифікуються, до цих предикатів («вирішувач»). Число вирішальних елементів вибирають рівним кількості класів, на яке необхідно розбити пропоновані персептрону образи.

Перцептрон навчається шляхом подання навчальної послідовності зображень об'єктів, що належать образам V1 і V2. У процесі навчання змінюються ваги vi А-елементів. Зокрема, якщо застосовується система підкріплення з корекцією помилок, насамперед враховується правильність рішення, прийнятого перцептроном. Якщо рішення правильне, то ваги зв'язків всіх А-елементів, що спрацювали, які ведуть до R-елемента, що видали правильне рішення, збільшуються, а ваги А-елементів, що неспрацювали, залишаються незмінними. Можна залишати незмінними ваги А-елементів, що спрацювали, але зменшувати ваги що неспрацювали. У деяких випадках ваги зв'язків, що спрацювали, збільшують, а що неспрацювали - зменшують. Після процесу навчання перцептрон сам, без учителя, починає класифікувати нові об'єкти.

Якщо перцептрон діє за описаною схемою й у ньому допускаються лише зв'язки, що йдуть від бінарних S-елементів до A-елементів і від A-елементів до єдиного R-елемента, то такий перцептрон прийнято називати елементарним -перцептроном.

Основні властивості перцептрона:

Теорема 1. Клас елементарних A-перцептронів, для яких існує рішення для будь-якої задуманої класифікації, не є порожнім.

Теорема 2. Якщо для деякої класифікації C(W) рішення існує, то в процесі навчання -перцептрона з корекцією помилок, що починається з довільного вихідного стану, це рішення буде досягнуто протягом кінцевого проміжку часу.

Когнітрон і неокогнітрон Фукушими

У цілому когнітрон являє собою ієрархію шарів, послідовно зв'язаних один з одним:

1. Нейрони утворюють не одномірний ланцюжок, а покривають площину, аналогічно шаруватій будові зорової кори людини.

2. Когнітрон складається з ієрархічно зв'язаних шарів нейронів двох типів – гальмуючих і збудливих.

У когнітроні кожен шар реалізує свій рівень узагальнення інформації:

• вхідні шари чутливі до окремих елементарних структур, наприклад, ліній визначеної орієнтації чи кольору;
• наступні шари реагують уже на більш складні узагальнені образи;
• у шарі найвищого рівня ієрархії активні нейрони визначають результат роботи мережі – розпізнавання визначеного образу, при цьому результатам розпізнавання відповідають ті нейрони, активність яких виявилася максимальною.

Однак домогтися незалежності (інваріантості) результатів розпізнавання від розмірів і орієнтації зображень вдалося лише в неокогнітроні, що був розроблений Фукушимою у 1980 році і являє собою суперпозицію когнітронів, навчених розпізнавати об'єкти різних типів, розмірів і орієнтації.

Лінійна розділимість і персептронна представленість

При прямокутній передатній функції кожен нейрон являє собою граничний елемент, що може знаходитися тільки в одному з двох станів:

• збудженому (активному), якщо зважена сума вхідних сигналів більше деякого граничного значення;
• загальмованому (пасивному), якщо зважена сума вхідних сигналів менше деякого граничного значення.

Двохшаровий персептрон

У багатошаровій мережі вихідні сигнали нейронів попереднього шару відіграють роль вхідних сигналів для нейронів наступного шару, тобто нейрони попереднього шару виступають як рецептори для нейронів наступного шару.

• Зв'язки між суміжними шарами нейронів називають безпосередніми.
• Зв'язки між шарами, розділеними N проміжних шарів називають зв'язками N-го рівня опосередкованості.
• Безпосередні зв'язки – це зв'язки 0-го рівня опосередкованості.
• Проміжні шари нейронів у багатошарових мережах називають схованими.

Багатошаровий персептрон – це навчальна система, що розпізнає, реалізуючи в процесі навчання лінійне вирішальне правило, яке коректується в просторі побічних ознак, що звичайно є фіксованими випадково обраними лінійними граничними функціями від первинних ознак.

При навчанні на вхід персептрона по черзі подаються сигнали з навчальної вибірки, а також вказівки про клас, до якого варто віднести даний сигнал.

При ідентифікації, розпізнаванні, прогнозуванні на вхід багатошарового персептрона надходить сигнал, що представляє собою набір первинних ознак, що і фіксуються рецепторами.

Спочатку обчислюються побічні ознаки. Кожній такій побічній ознаці відповідає лінійна від первинних ознак. Побічна ознака приймає значення 1, якщо відповідна лінійна функція перевищує поріг. В іншому випадку вона приймає значення 0. Потім для кожного з класів обчислюється функція, лінійна щодо побічних ознак. Перцептрон виробляє рішення про приналежність вхідного сигналу до того класу, якому відповідає функція від вторинних параметрів, що має найбільше значення.

Показано, що для представлення довільного нелінійного функціонального відображення, що задається навчальної вибіркою, досить всього двох шарів нейронів. Однак на практиці, у випадку складних функцій, використання більш ніж одного схованого шару може давати економію повного числа нейронів.

У багатошарових мережах оптимальні вихідні значення нейронів усіх шарів, крім останнього, як правило, не відомі, і двох чи більш шаровий перцептрон неможливо навчити, керуючись тільки величинами помилок на виходах НМ.

Варіанти рішення проблеми

1. Розробка наборів вихідних сигналів, що відповідають вхідним, для кожного шару НМ.

2. Динамічне підстроювання вагових коефіцієнтів синапсів, у ході якої вибираються, як правило, найбільш слабкі зв'язки і змінюються на малу величину в ту чи іншу сторону, а зберігаються тільки ті зміни, що спричинили зменшення помилки на виході всієї мережі.

3. Поширення сигналів помилки від виходів НМ до її входів, у напрямку, зворотному прямому поширенню сигналів у звичайному режимі роботи.

ЛЕКЦІЯ 4

НЕЙРОМЕРЕЖІ

Особливість

Інформація кодується і запам'ятовується не в окремих комірках пам'яті, а в розподілі зв'язків між нейронами й у їхній силі, тому стан кожного окремого нейрона визначається станом багатьох інших нейронів, зв'язаних з ним. Отже, втрата одного чи декількох зв'язків не робить істотного впливу на результат роботи системи в цілому, що забезпечує її високу надійність.

Області застосування НПС:

• обробка й аналіз зображень;
• розпізнавання мови незалежно від диктора, переклад;
• обробка високошвидкісних цифрових потоків;
• автоматизована система швидкого пошуку інформації;
• класифікація інформації в реальному масштабі часу;
• планування застосування сил і засобів у великих масштабах;
• рішення трудомістких задач оптимізації;
• адаптивне керування і пророкування.

Класифікація образів

Завдання полягає у вказівці приналежності вхідного образа (наприклад, мовного чи сигналу рукописного символу), представленого вектором ознак, одному чи декільком попередньо визначеним класам. До відомих додатків відносяться розпізнавання букв, розпізнавання мови, класифікація сигналу електрокардіограми, класифікація кліток крові.

Кластеризация/категоризація

При рішенні задачі кластеризации, що відома також як класифікація образів "без учителя", отсутствует навчальна вибірка з мітками класів. Алгоритм кластеризации заснований на подобі образів і розміщає близькі образи в один кластер. Відомі випадки застосування кластеризации для витягу знань, стиску даних і дослідження властивостей даних.

Апроксимація функцій

Припустимо, що мається навчальна вибірка ((x1,y1), (x2,y2)..., (xn,yn)) (пари даних вхід-вихід), що генерується невідомою функцією (x), перекрученої шумом. Завдання апроксимації полягає в перебуванні оцінки невідомої функції (x). Апроксимація функцій необхідна при рішенні численних інженерних і наукових задач моделювання.

Пророкування/прогноз

Нехай задані n дискретних отсчетов {y(t1), y(t2)..., y(tn)} у послідовні моменти часу t1, t2,..., tn. Завдання полягає в пророкуванні значення y(tn+1) у деякий майбутній момент часу tn+1. Пророкування/прогноз мають значний вплив на прийняття рішень у бізнесі, науці і техніку. Пророкування цін на фондовій біржі і прогноз погоди є типовими додатками техніки пророкування/прогнозу.

Оптимізація

Численні проблеми в математику, статистику, техніку, науці, медицині й економіці можуть розглядатися як проблеми оптимізації. Задачею алгоритму оптимізації є перебування такого рішення, що задовольняє системі обмежень і чи максимізує мінімізує цільову функцію. Задача комівояжера, що відноситься до класу NP-повних, являє класичний приклад задачі оптимізації.

Керування

Розглянемо динамічну систему, задану сукупністю {u(t), y(t)}, де u(t) є вхідним керуючим впливом, а y(t) - виходом системи в момент часу t. У системах керування з еталонною моделлю метою керування є розрахунок такого вхідного впливу u(t), при якому система випливає по бажаній траєкторії, диктуемой еталонною моделлю. Прикладом є оптимальне керування двигуном.

Нейроподібна мережа

Нейроподібна мережа— це рівнобіжна зв'язна мережа простих адаптивних елементів, що взаємодіє з об'єктами реального світу аналогічно біологічній нервовій системі.

З інженерної точки зору така мережа являє собою сильно розпаралелену динамічну систему з топологією спрямованого графа, що може виконувати переробку інформації за допомогою зміни свого стану у відповідь на постійний чи імпульсний вхідний сигнал.

В даний час основними напрямками реалізації НПС є:

• програмна реалізація на цифрових ЕОМ традиційної архітектури;
• програмно-апаратна реалізація у вигляді співпроцесорів до ЕОМ загального призначення;
• апаратна реалізація шляхом створення нейрокомп’ютерів на базі нейроплат у вигляді рівнобіжних нейроподібних структур.

ЛЕКЦІЯ 3

Багатокритеріальні задачі

Спрощення багатокритеріальної задачі вибору:

1. Умовна максимізація (знаходиться не глобальний екстремум суперкритерію, а локальний екстремум основного критерію).

2. Пошук альтернативи з заданими властивостями.

3. Знаходження множини Парето.

4. Зведення багатокритеріальної задачі до однокритеріальної, шляхом введення суперкритерію.

Уведемо суперкритерій q0(x), як скалярну функцію векторного аргументу:

q0(x)= q0((q1(x), q2(x),..., qn(x))

1. Високий ступінь адекватності предметній області і точці зору експертів.

2. Мінімальні обчислювальні труднощі максимізації суперкритерію, тобто його розрахунку для різних альтернатив.

3. Стійкість результатів максимізації суперкритерію від малих збурювань вихідних даних.

Мова послідовного бінарного вибору

1. Окрема альтернатива не оцінюється, тобто критеріальна функція не вводиться.

2. Для кожної пари альтернатив деяким чином можна установити, що одна з них переважає іншу, або вони рівноцінні чи непорівнянні.

3. Відношення переваги в будь-якій парі альтернатив не залежить від інших альтернатив, які запропоновані до вибору.

Існують різні способи задання бінарних відносин: безпосередній, матричний, з використанням графів переваг, метод перетинів і ін.

Узагальнена мова функцій вибору

• Груповий вибір
• Вибір в умовах невизначеності
• Інформаційна (статистична) невизначеність у вихідних даних
• Невизначеність наслідків
• Розпливчаста невизначеність
• Рішення як компроміс і баланс різних інтересів. Обмеження оптимізаційного підходу

Експертні методи вибору

На роботу експерта впливають наступні фактори:

• відповідальність за використання результатів експертизи;
• знання того, що залучаються й інші експерти;
• наявність інформаційного контакту між експертами;
• міжособистісні відносини експертів (якщо між ними є інформаційний контакт);
• особиста зацікавленість експерта в результатах оцінки;
• особистісні якості експертів (самолюбство, конформізм, воля й ін.)

Умови коректності використання систем підтримки прийняття рішень. Сховища даних для прийняття рішень

Сховища даних для прийняття рішень:

• на 1-му рівні накопичуються дані моніторингу;
• на 2-му рівні здійснюється аналіз даних моніторингу з метою виявлення в них залежностей, що дозволяє змістовно інтерпретувати дані, тобто генерувати інформацію шляхом аналізу даних;
• на 3-му рівні знання залежностей даних моніторингу використовується для прогнозування;
• на 4-му рівні можливості різноманітного прогнозування і рішення зворотної задачі прогнозування дозволяють виробляти рекомендації і рішення по досягненню поставлених цілей, тобто генерувати і використовувати знання шляхом системної обробки інформації.

Сховище Даних (СД чи Data warehouses) – це база даних, що зберігає дані, агреговані за багатьма вимірам. Дані з СД ніколи не знищуються. Поповнення СД відбувається на періодичній основі. При цьому автоматично формуються нові агрегати даних, що залежать від старих. Доступ до СД організований особливим чином на основі моделі багатовимірного куба.

ЛЕКЦІЯ 2

Системами з біологічним зворотним зв'язком (БЗЗ) будемо називати системи, поводження яких залежить від психофізіологічного (біологічного) стану користувача.

Системами із семантичним резонансом будемо називати системи, поводження яких залежить від стану свідомості користувача і його психологічної реакції на смислові стимули.

Почерком будемо називати систему індивідуальних особливостей написання і динаміки відтворення букв, слів і речень вручну різними людьми чи на різних пристроях друку.

Клавіатурним почерком називають систему індивідуальних особливостей написання і динаміки відтворення букв, слів і речень на клавіатурі.

Співвідношення психографології і атрибуції текстів

Будь-який текст містить не тільки ту інформацію, для передачі якої його створювали, але й інформацію про самого автора цього тексту і про технічні засоби і технологію його створення.

ЛЕКЦІЯ 1

Дані, інформація, знання

Дані являють собою інформацію, розглянуту в суто синтаксичному аспекті, тобто безвідносно до її змісту і використання.

Інформація – це дані проінтерпретовані, тобто осмислені дані, розглянуті в єдності синтаксичного і семантичного аспектів.

Знання, є система інформації, що забезпечує збільшення імовірності досягнення якої-небудь мети, тобто по суті знання – це "Ноу-хау" чи технології.

знання = інформація + мета

знання = дані + зміст + мета.

Факт, зміст, думка

Під фактом будемо розуміти відповідність дискретного й інтегрального елементів пізнання, тобто елементів різних рівнів інтеграції-ієрархії процесів пізнання.

Факт розглядається як квант змісту.

Зміст являє собою "різницю потенціалів" між суміжними рівнями інтеграції-ієрархії в системі обробки інформації в процесах пізнання.

Думка є операцією виявлення змісту з фактів.

Мислення є процес, що складається з ряду взаємозалежних за змістом думок.

Базова когнітивна концепція у формальному викладі:

1. Елементи сприйняття.

2. Процес синтезу.

3. Узагальнення. Абстрагування.

4. Процес генерації, удосконалювання і застосування конструктів.

Результати ідентифікації і прогнозування, здійснені за допомогою моделі, шляхом виконання когнітивної операції "верифікація" зіставляються з досвідом, після чого визначається доцільність виконання когнітивної операції "навчання". При цьому може виникнути три основних варіанти:

1. Об'єкт, входить у навчальну вибірку і вірогідно ідентифікується (внутрішня валідність, в адаптації немає необхідності).

2. Об'єкт, не входить у навчальну вибірку, але входить у вихідну генеральну сукупність, стосовно якої ця вибірка репрезентативна, і вірогідно ідентифікується (зовнішня валідність, додавання об'єкта до навчальної вибірки й адаптація моделі приводить до кількісного уточнення змісту ознак і образів класів).

3. Об'єкт не входить у вихідну генеральну сукупність і ідентифікується недостовірно (зовнішня валідність, додавання об'єкта до навчальної вибірки і синтез моделі призводить до якісного уточнення змісту ознак і образів класів, вихідна генеральна сукупність розширюється).

Таблиця – ЕТАПИ ЖИТТЄВОГО ЦИКЛУ СИСТЕМ ШТУЧНОГО ІНТЕЛЕКТУ І КРИТЕРІЇ ПЕРЕХОДУ МІЖ НИМИ

ЛЕКЦІЯ 5

НЕЙРОМЕРЕЖІ

Моделі нейронних мереж. Мережі з прямими зв'язками. Багатошарові нейронні мережі

Типовий персептрон складається з трьох основних компонент:

1. матриці бінарних входів (сенсорних нейронів чи «сітківки», куди подаються вхідні образи);

2. набору бінарних нейроподібних елементів (чи предикатів у найбільш загальному випадку) з фіксованими зв'язками до підмножин сітківки («детектори ознак»);

3. бінарного нейроподібного елемента зі зв'язками, що модифікуються, до цих предикатів («вирішувач»). Число вирішальних елементів вибирають рівним кількості класів, на яке необхідно розбити пропоновані персептрону образи.

Перцептрон навчається шляхом подання навчальної послідовності зображень об'єктів, що належать образам V1 і V2. У процесі навчання змінюються ваги vi А-елементів. Зокрема, якщо застосовується система підкріплення з корекцією помилок, насамперед враховується правильність рішення, прийнятого перцептроном. Якщо рішення правильне, то ваги зв'язків всіх А-елементів, що спрацювали, які ведуть до R-елемента, що видали правильне рішення, збільшуються, а ваги А-елементів, що неспрацювали, залишаються незмінними. Можна залишати незмінними ваги А-елементів, що спрацювали, але зменшувати ваги що неспрацювали. У деяких випадках ваги зв'язків, що спрацювали, збільшують, а що неспрацювали - зменшують. Після процесу навчання перцептрон сам, без учителя, починає класифікувати нові об'єкти.

Якщо перцептрон діє за описаною схемою й у ньому допускаються лише зв'язки, що йдуть від бінарних S-елементів до A-елементів і від A-елементів до єдиного R-елемента, то такий перцептрон прийнято називати елементарним -перцептроном.

Основні властивості перцептрона:

Теорема 1. Клас елементарних A-перцептронів, для яких існує рішення для будь-якої задуманої класифікації, не є порожнім.

Теорема 2. Якщо для деякої класифікації C(W) рішення існує, то в процесі навчання -перцептрона з корекцією помилок, що починається з довільного вихідного стану, це рішення буде досягнуто протягом кінцевого проміжку часу.

Когнітрон і неокогнітрон Фукушими

У цілому когнітрон являє собою ієрархію шарів, послідовно зв'язаних один з одним:

1. Нейрони утворюють не одномірний ланцюжок, а покривають площину, аналогічно шаруватій будові зорової кори людини.

2. Когнітрон складається з ієрархічно зв'язаних шарів нейронів двох типів – гальмуючих і збудливих.

У когнітроні кожен шар реалізує свій рівень узагальнення інформації:

• вхідні шари чутливі до окремих елементарних структур, наприклад, ліній визначеної орієнтації чи кольору;
• наступні шари реагують уже на більш складні узагальнені образи;
• у шарі найвищого рівня ієрархії активні нейрони визначають результат роботи мережі – розпізнавання визначеного образу, при цьому результатам розпізнавання відповідають ті нейрони, активність яких виявилася максимальною.

Однак домогтися незалежності (інваріантості) результатів розпізнавання від розмірів і орієнтації зображень вдалося лише в неокогнітроні, що був розроблений Фукушимою у 1980 році і являє собою суперпозицію когнітронів, навчених розпізнавати об'єкти різних типів, розмірів і орієнтації.

Лінійна розділимість і персептронна представленість

При прямокутній передатній функції кожен нейрон являє собою граничний елемент, що може знаходитися тільки в одному з двох станів:

• збудженому (активному), якщо зважена сума вхідних сигналів більше деякого граничного значення;
• загальмованому (пасивному), якщо зважена сума вхідних сигналів менше деякого граничного значення.

Двохшаровий персептрон

У багатошаровій мережі вихідні сигнали нейронів попереднього шару відіграють роль вхідних сигналів для нейронів наступного шару, тобто нейрони попереднього шару виступають як рецептори для нейронів наступного шару.

• Зв'язки між суміжними шарами нейронів називають безпосередніми.
• Зв'язки між шарами, розділеними N проміжних шарів називають зв'язками N-го рівня опосередкованості.
• Безпосередні зв'язки – це зв'язки 0-го рівня опосередкованості.
• Проміжні шари нейронів у багатошарових мережах називають схованими.

Багатошаровий персептрон – це навчальна система, що розпізнає, реалізуючи в процесі навчання лінійне вирішальне правило, яке коректується в просторі побічних ознак, що звичайно є фіксованими випадково обраними лінійними граничними функціями від первинних ознак.

При навчанні на вхід персептрона по черзі подаються сигнали з навчальної вибірки, а також вказівки про клас, до якого варто віднести даний сигнал.

При ідентифікації, розпізнаванні, прогнозуванні на вхід багатошарового персептрона надходить сигнал, що представляє собою набір первинних ознак, що і фіксуються рецепторами.

Спочатку обчислюються побічні ознаки. Кожній такій побічній ознаці відповідає лінійна від первинних ознак. Побічна ознака приймає значення 1, якщо відповідна лінійна функція перевищує поріг. В іншому випадку вона приймає значення 0. Потім для кожного з класів обчислюється функція, лінійна щодо побічних ознак. Перцептрон виробляє рішення про приналежність вхідного сигналу до того класу, якому відповідає функція від вторинних параметрів, що має найбільше значення.

Показано, що для представлення довільного нелінійного функціонального відображення, що задається навчальної вибіркою, досить всього двох шарів нейронів. Однак на практиці, у випадку складних функцій, використання більш ніж одного схованого шару може давати економію повного числа нейронів.

У багатошарових мережах оптимальні вихідні значення нейронів усіх шарів, крім останнього, як правило, не відомі, і двох чи більш шаровий перцептрон неможливо навчити, керуючись тільки величинами помилок на виходах НМ.

Варіанти рішення проблеми

1. Розробка наборів вихідних сигналів, що відповідають вхідним, для кожного шару НМ.

2. Динамічне підстроювання вагових коефіцієнтів синапсів, у ході якої вибираються, як правило, найбільш слабкі зв'язки і змінюються на малу величину в ту чи іншу сторону, а зберігаються тільки ті зміни, що спричинили зменшення помилки на виході всієї мережі.

3. Поширення сигналів помилки від виходів НМ до її входів, у напрямку, зворотному прямому поширенню сигналів у звичайному режимі роботи.

ЛЕКЦІЯ 4

НЕЙРОМЕРЕЖІ

Что делает отдел по эксплуатации и сопровождению ИС? Отвечает за сохранность данных (расписания копирования, копирование и пр.)...

Что вызывает тренды на фондовых и товарных рынках Объяснение теории грузового поезда Первые 17 лет моих рыночных исследований сводились к попыткам вычис­лить, когда этот...

Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор...

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: