Відповідно до правила Хебба, якщо пред'явленому біполярному зображенню X = (x1, ..., xn) відповідає неправильний вихідний сигнал у, тоді ваги wi зв'язків нейрона адаптуються по формулі:

wi (t + 1) = wi (t) + xi у, (4.1)

де wi (t), wi(t + 1) відповідно вага i- ого зв'язку нейрона до и після адаптації; xi () - компоненти вхідного зображення; х0 1 - сигнал зміщення; у - вихідний сигнал нейрона.

У більш повній і строгій формі алгоритм настроювання ваг зв'язків нейрона з використанням правила Хебба виглядає таким чином:

Крок 1. Задається множина M = {(Х 1, t1), …, (X m, tm)} яка складається з пар вхідне зображення Xk =, і необхідний вихідний сигнал нейрона tk, . Ініціюються ваги зв'язків нейрона:

wi = 0, .

x0 = 1, xi = xik, .

.

де

Якщо вектор (y1, …, ym) обчислених вихідних сигналів дорівнює вектору (t1, …, tm) заданих сигналів нейрона, тобто кожному вхідному зображенню відповідає заданий вихідний сигнал, тоді обчислення припиняються (перехід до кроку 7), якщо ж (y1, …, ym) ? (t1, …, tm), то перехід до кроку 2 алгоритму.

Крок 7. Зупинка.

Покажемо процес навчання нейронної мережі за Правилом Хебба на конкретних прикладах.

Приклад 1. Нехай треба навчити біполярний нейрон розпізнаванню зображень X1, та Х2, наведених на рис. 9.

При цьому зажадаємо, щоб зображенню Х1 відповідав вихідний сигнал нейрона "+1", а зображенню Х2 - сигнал "-1".

Застосування алгоритму Хебба дає наступні результати:

Крок 1. Задається множина

М = {(Х1 = (1, -1, 1, 1, 1, 1,-1, -1, 1), 1), (Х2 = ( 1, 1, 1, 1, -1, 1, 1, -1, 1 ), -1)};

і ініціюються ваги зв'язків нейрона: wi = 0,

Крок 2. Для кожної з двох пар (Х1, 1), (Х2, -1), виконуються кроки 3 - 5.

Крок 3. Ініціюється множина входів нейрона для зображення першої пари:

х0 = 1, хi = xi1,

Крок 4. Ініціюється вихідний сигнал нейрона для зображення першої пари:

у = t1 = 1.

Крок 5. Корегуються ваги зв'язків нейрона за правилом Хебба

;

;

;

;

.

Крок 3. Ініціюється множина входів нейрона для зображення Х2 другої пари:

х0 = 1, хi = хi2,

Крок 4. Ініціюється вихідний сигнал нейрона для зображення другої пари:

(Х2, t2): у = t2 = -1.

Крок 5. Корегуються ваги зв'язків нейрона:

;

.

y2 = -1, тому що S2 < 0.

Оскільки вектор (y1, y2) = (1, -1) дорівнює вектору (t1, t2), то обчислення припиняються, тому що мета досягнута - нейрон правильно розпізнає задані зображення.

Крок 7. Зупинка.

Основна ідея правила (4.1) - підсилювання зв'язку, що з'єднує нейрони з однаковою за часом активністю, і послаблення зв'язку, що з'єднує елементи з різною активністю, може бути використана і при настроюванні нейромереж з бінарними елементами. Правило Хебба (4.1) для одношарових бінарних мереж можна записати у вигляді:

wi (t + 1) = wi (t) + wi , (4.2)

де

(4.3)

Приклад 2. Нехай потрібно навчити бінарний нейрон розпізнаванню зображень Х 1 і Х 2 приклада 1. При цьому зображенню Х 1 нехай відповідає вихідний сигнал нейрона "+1", а зображенню Х?2 - “0”. Застосування правила Хебба в цьому випадку дає наступні результати:

Крок 1. Задається множина

М = {( Х 1 = (1, 0, 1, 1, 1, 1, 0, 0, 1), 1), (Х?2 = ( 1, 1, 1, 1, 0, 1, 1, 0, 1 ), 0)},

і ініціюються ваги зв'язків нейрона wi = 0,

Крок 2. Для пар (Х 1,1), (Х 2, 0), виконуються кроки 3 - 5.

Крок 3. Ініціюється множина нейрона елементами зображення Х 1:

Крок 4. Ініціюється вихідний сигнал нейрона для зображення Х1:

у = t1 = 1.

Крок 5. Корегуються ваги зв'язків нейрона за допомогою співвідношень (4.2), (4.3):

;

;

;

;

Крок 3. Ініціюється множина нейрона елементами зображення Х?2:

х0 = 1, хi = хi2,

Крок 4. Ініціюється вихідний сигнал нейрона для зображення Х?2:

y =t 2 = 0

Крок 5. Корегуються ваги зв'язків нейрона за допомогою співвідношень (4.2), (4.3):

;

;

;

y1 = 1, тому що S1 > 0.

y2 = -1, тому що S 2 < 0.

Оскільки вектор (y1, y2) = (1, 0) дорівнює заданому вектору (t1, t2) = (1, 0), то мета досягнута та обчислення припиняються.

Крок 7. Зупинка.

Використання групи з m біполярних або бінарних нейронів A1, ..., Am (рис. 10) дозволяє істотно розширити можливості нейронної мережі і розпізнавати до 2m різних зображень. Правда, застосування цієї мережі для розпізнавання 2m (або близьких до 2m чисел) різних зображень може призводити до нерозв'язних проблем адаптації ваг зв'язків нейромережі. Тому часто рекомендують використовувати дану архітектуру для розпізнавання тільки m різних зображень, задаючи кожному з них одиничний вихід тільки на виході одного А-елемента (виходи інших при цьому повинні приймати значення "-1" для біполярних нейронів або "0" - для бінарних).

Одношарова нейронна мережа з двійковими нейронами, приведена на рис. 10, може бути навчена за допомогою алгоритму на основі правила Хебба. У цьому випадку вона називається мережею Хебба. Використання інших алгоритмів навчання цієї ж мережі призводить і до зміни назви нейронної мережі. Використання в назві мереж їхніх алгоритмів навчання характерно для теорії нейронних мереж. Для біполярного представлення сигналів можливе навчання нейромережі за допомогою наступного алгоритму:

Крок 1. Задається множина M = {(Х 1, t1), …, (Х m, t m)}, яка складається з пар вхідне зображення X k = , і необхідний вихідний сигнал нейрона t k, . Ініціюються ваги зв'язків нейрона:

wji = 0, ,

Крок 2. Кожна пара (Х k, t k), перевіряється на правильність реакції нейронної мережі на вхідне зображення. Якщо отриманий вихідний вектор мережі
(, …, ), відрізняється від заданого t1 = (, …, ), то виконують кроки 3-5.

Крок 3. Ініціюється множина входів нейронів: x0 = 1, xj = xjk,

Крок 4. Ініціюються вихідні сигнали нейронів: yi = .

Крок 5. Корегуються ваги зв'язків нейронів по правилу:

.

Крок 6. Перевіряються умови зупинки, тобто правильності функціонування мережі при пред'явлені кожного вхідного зображення. Якщо умови не виконуються, то перехід до кроку 2 алгоритму, інакше - припинення обчислень (перехід до кроку 7).

Крок 7. Зупинка.

Таким чином у даній главі докладно продемонстрований порядок створення і навчання нейронної мережі Хебба на конкретних елементарних прикладах. Показано, що навіть найпростіша мережа, що складається з одного нейрона здатна виконувати корисну роботу по розпізнаванню одного з двох зображень.

5. Області вживання і задачі РОЗВ'ЯЗУВАНІ за допомогою нейронних мереж

У літературі зустрічається значне число ознак, якими повинна володіти задача, щоб застосування НМ було виправдано і НМ могла б її вирішити:

– відсутній алгоритм або не відомі принципи вирішення задачі, але накопичене достатнє число прикладів;

– проблема характеризується великими обсягами вхідної інформації;

– дані неповні або надлишкові, зашумлені, частково суперечливі.

Таким чином, НМ добре підходять для розпізнавання образів і вирішення задач класифікації, оптимізації і прогнозування. Нижче приведений перелік можливих промислових застосувань нейронних мереж, на базі яких або вже створені комерційні продукти, або реалізовані демонстраційні прототипи.

Банки і страхові компанії:

- автоматичне зчитування чеків і фінансових документів;

- перевірка вірогідності підписів;

- оцінка ризику для позик;

- прогнозування змін економічних показників.

Адміністративне обслуговування:

- автоматичне зчитування документів;

- автоматичне розпізнавання штрихових кодів.

Нафтова і хімічна промисловість:

- аналіз геологічної інформації;

- ідентифікація несправностей устаткування;

- розвідка покладів мінералів за даними аерофотознімань;

- аналіз складів домішок;

- керування процесами.

Військова промисловість і аеронавтика:

- обробка звукових сигналів (поділ, ідентифікація, локалізація, усунення шуму, інтерпретація);

- обробка радарних сигналів (розпізнавання цілей, ідентифікація і локалізація джерел);

- обробка інфрачервоних сигналів (локалізація);

- узагальнення інформації;

- автоматичне пілотування.

Промислове виробництво:

- керування маніпуляторами;

- керування якістю;

- керування процесами;

- виявлення несправностей;

- адаптивна робототехніка;

- керування голосом.

Служба безпеки:

- розпізнавання осіб, голосів, відбитків пальців.

Біомедична промисловість:

- аналіз рентгенограм;

- виявлення відхилень у ЕКГ

Телебачення і зв'язок:

- адаптивне керування мережею зв'язку;

- стиск і відновлення зображення.

Представлений перелік далеко не повний. Щомісяця західні засоби масової інформації повідомляють про нові комерційні продукти на базі нейронних мереж. Так, фірма LІAC випускає апаратуру для контролю якості води. Нейросистеми фірми SAІ знаходять пластикові бомби в багажі авіапасажирів. Фахівці інвестиційного банку Cіtіcomp (Лондон) за допомогою програмного нейропакету роблять короткострокові прогнози коливань курсів валют.

6. Сучасні проекти і вироби, засновані на нейронних мережах

Нейронні мережі можуть бути реалізовані двома шляхами: перший це програмна модель НМ, другий - апаратна. На сучасному ринку виробу, засновані на використанні механізму дії НМ, спочатку з'явилися у вигляді нейроплат. Як типовий приклад нейроплати можна назвати плату МВ 86232 японської фірми Fujіtsu. На платі розміщений процесор цифрової обробки сигналів та оперативна пам'ять ємністю 4 Мбайт, що дозволяє використовувати таку плату для реалізації НМ, що містять до тисячі нейронів.

Основними комерційними апаратними виробами на основі НМ є і, імовірно, найближчим часом будуть залишатися нейробіс. Зараз випускаються більш 20 типів нейробісів, параметри яких часом розрізняються на декілька порядків. Серед них - модель ETANN фірми Іntel. Ця БІС, виконана за мікронною технологією, є реалізацією НМ із 64 нейронами і 10240 синапсами. Її ціна 2000 дол. До числа найдешевших нейробис (41 дол.) відноситься модель MD 1220 фірми Mіcro Devіces. Ця БІС реалізує НМ із 8 нейронами і 120 синапсами.

Серед розроблювальних у даний час нейробіс виділяються моделі фірми Adaptіve Solutіons (США) і Hіtachі (Японія). Нейробіс фірми Adaptіve Solutіons, імовірно, стане однією із самих швидкодіючих: оголошена швидкість обробки складає 1,2 млрд. з'єднань / с. (НМ містить 64 нейрона і 262144 синапса). Нейробіс фірми Hіtachі дозволяє реалізувати НМ, що містить до 576 нейронів. Ці нейробіс, безсумнівно, стануть основою нових нейрокомп'ютерів і спеціалізованих багатопроцесорних виробів.

Страницы: 1, 2, 3, 4, 5, 6, 7