на тему рефераты Информационно-образоательный портал
Рефераты, курсовые, дипломы, научные работы,
на тему рефераты
на тему рефераты
МЕНЮ|
на тему рефераты
поиск
Технология извлечения знаний из нейронных сетей: апробация, проектирование ПО, использование в психолингвистике
а применимость и качество работы отдельных методов большое влияние оказывает тип признаков (характеристик) объектов - дискретный (качественный), номинальный (порядковый) или количественный.

Во всех случаях вопрос о том, что является полезной информацией, совсем не очевиден и требует специального рассмотрения.

Представления о характере полезной информации, содержащейся в эмпирических данных, а зачастую и сам характер подобных данных не позволяют использовать для их обработки классические статистические методы. В связи с этим возникли совершенно новые задачи обработки эмпирических данных, а значит, и новые методы решения таких задач.

Это прежде всего задачи регрессионного, авторегрессионного и факторного анализов. В последние годы регрессионный и факторный анализ развивались особенно интенсивно и обогатились рядом новых моделей и методов, например, такими, как модель структурных уравнений регрессии [11], или методы группировки параметров.

Другая группа задач обработки данных - получение типологии изучаемых объектов. С ними связаны распознавание образов, методы автоматической классификации и т.п.

Новые эффекты обнаружились при комбинированном применении методов формирования факторов и методов автоматической классификации с тем, чтобы с каждым фактором была связана своя типология. Оказалось, что полученные типологии легко поддаются интерпретации и их можно понимать как системы терминов, позволяющих достаточно коротко описывать отдельные явления. Удалось создать обобщенный подход к обработке эмпирических данных самой различной природы, получивший название лингвистического [11].

1.2.2.3. Статистические методы извлечения знаний из таблицы данных

Рассмотрим статистические методы извлечения знаний из таблиц данных. Естественно, объем имеющейся выборки будет определять надежность статистического вывода - т.е. подтверждения или отклонения гипотезы или доверия к полученным параметрам модели. При этом неотрицательный результат статистической проверки гипотезы не означает, что высказанное предположение является наилучшим, единственно подходящим: просто оно не противоречит имеющимся выборочным данным, однако таким же свойством могут наряду с этой гипотезой обладать и другие гипотезы [9].

Кратко перечислим существующие на данный момент методы:

Проверка гипотезы об аномальном измерении.

Проверка гипотез о выборочных значениях характеристик случайной величины.

Проверка гипотезы о распределении случайной величины и нахождение параметров этого распределения.

Корреляционный анализ.

Линейный регрессионный и авторегрессионный анализ.

Факторный анализ и анализ главных компонент.

Байесовские классификаторы в задаче бинарной классификации.

Построение линейных и кусочно-линейных разделяющих поверхностей в задаче бинарной классификации.

Автоматическая группировка объектов - методы автоматической классификации (кластеризации).

1.2.3. Методы идентификации систем

Под идентификацией понимается построение модели, с заданной точностью описывающей реакцию наблюдаемого объекта на внешнее воздействие (описываемое набором входных, независимых переменных).

Задаче идентификации посвящено огромное количество работ (см., например, библиографию в [13]), отличающихся не только типами объектов, которые необходимо идентифицировать, но и самими методами и алгоритмами идентификации. Среди алгоритмов идентификации чаще всего используются рекуррентные алгоритмы, позволяющие осуществлять идентификацию в режиме нормальной работы объекта. Иными словами, для рекуррентных алгоритмов не формируется обучающая выборка (таблица данных), а адаптация модели ведется с использованием только текущей пары "вход объекта - выход объекта". Однако нет никаких ограничений на использование рекуррентных алгоритмов для обработки таблицы ранее собранных данных об объекте.

Принципы формирования алгоритмов идентификации тесно связаны с выбором уравнения, использующего наблюдаемые данные и аппроксимирующего уравнение объекта, выбором критерия качества аппроксимации (функции потерь), выбором метода оптимизации критерия. Этот выбор до последнего времени был в значительной мере произволен и обусловил господство линейной аппроксимации уравнения объекта и квадратичного критерия (при этом задача идентификации сводилась к решению системы линейных уравнений). Но практика показала, что такой выбор не всегда приводит к положительным результатам.

В настоящее время разработана информационная теория идентификации [13], позволяющая оптимально выбирать уравнение аппроксимации, критерий, и алгоритм идентификации в зависимости от точки приложения к объекту помех, наличия той или иной информации о плотности распределения помех и параметров этого распределения, используемой целевой функции, априорной информации об искомом решении. Показана возможность улучшения алгоритмов за счет управления входными воздействиями.

1.2.4. Другие методы обработки данных

Существуют и другие методы обработки таблиц данных:

1. Метод потенциальных функций [14] для решения задач классификации объектов с учителем.

2. Методы непараметрической обработки данных:

байесовские классификаторы на основе непараметрических оценок условных плотностей распределения вероятности [12];

непараметрическая регрессия;

непараметрические алгоритмы идентификации объектов;

Однако использование этих методов для приобретения знаний невозможно, поскольку при этом не возникает нового отдельного "объекта" (например, регрессионного уравнения, уравнения разделяющей поверхности,…), которым можно манипулировать и который можно пытаться интерпретировать - такой объект заменяется обучающей выборкой. Конечно, для каждого метода можно определить оптимальные значения некоторых параметров ("заряды" классов для метода потенциальных функций, параметры сглаживания и вид ядерных функций для непараметрических методов), минимизирующих ошибку классификации или предсказания, но нахождение оптимальных значений этих параметров трудно интерпретировать как прибавление новых знаний.

1.3. Требования к технологии извлечения знаний

Возможности применения технологии извлечения знаний должны распространяться вплоть до индивидуального пользователя, имеющего возможность применять технологию извлечения знаний к доступных данных и конкретизирующего отдельные аспекты этой технологии в зависимости от своего собственного опыта и конкретной задачи. Это означает, что должно произойти коренное изменение технологии производства таких систем. Системы принятия решений, основанные на явных правилах вывода, создаются, как правило, группой специалистов, в числе которых - математики, программисты и предметные специалисты, ставящие задачи. Возможности настройки таких систем на конечного потребителя часто недостаточны. Приобретая такую систему, он часто сталкивается с ее неприменимостью к конкретным условиям работы (например, другой спектр лабораторных анализов или методов обследования, принятый в данной клинике). Выход - дать специалисту возможность самому конструировать ЭС исходя из конкретных условий, собственного опыта и опыта коллег. Такое конструирование должно производиться без знания предметным специалистом математического аппарата, требуя только обычных навыков работы на ЭВМ. В этой ситуации снимается психологическая проблема доверия к заключениям ЭС, которая работает, опираясь на опыт и знания того специалиста, который ее сконструировал, его коллег, которым он доверяет, и реальные данные, которые он сам получил в результате наблюдений [15].

Самообучающиеся ЭС принятия решений, диагностики и прогнозирования должны удовлетворять следующим требованиям [15]:

Индивидуализация (настройка на конкретные наборы экспериментальных данных, индивидуальный опыт и знания специалиста);

Динамическое развитие (накопление опыта системы в процессе функционирования, следуя изменениям в пунктах, перечисленных в предыдущем требовании);

Возможность перенастройки при резком изменении условий, например, при перенесении в другой регион;

Способность к экстраполяции результата. Требование, обратное индивидуальности. Система не должна резко терять качество работы при изменении условий;

Возможность конструирования с нуля конечным пользователем (специалист должен иметь возможность придумать совершенно новую ЭС и иметь возможность просто и быстро создать ее);

“Нечеткий” характер результата. Решение, выдаваемое системой, не должно быть окончательным. Оно может быть вероятностным или предлагать сразу несколько вариантов на выбор. Это дает возможность специалисту критически оценивать решение системы и не лишает его инициативы в принятии окончательного решения.

ЭС является только советчиком специалиста, не претендуя на абсолютную точность решения. Она должна накапливать опыт и знания и значительно ускорять доступ к ним, моделировать результат при изменении условий задачи. Ответственность за решение всегда лежит на специалисте.

Универсальность такой технологии означает, она не должна опираться на семантику проблемной области, предлагая унифицированный подход для решения типовых задач в любой проблемной области. Семантический аспект постановки задачи, осмысления процесса решения и анализа результатов лежит на конечном специалисте.

Анализ существующих методов обработки информации показал, что этим требованиям хорошо удовлетворяют нейроинформационные технологии, основанные на искусственных нейронных сетях [16-19]. В основе их функционирования лежат алгоритмы, моделирующие распространение сигналов по нейронам и синапсам нервной системы. Существует достаточно большой набор архитектур и метаалгоритмов функционирования нейронных сетей, при этом задачи, решаемые нейроинформатикой, в большинстве случаев требуют подгонки архитектуры и алгоритмов обучения нейросетей под определенный класс задач или даже конкретную задачу. Поэтому разработка теоретических и методологических основ и универсальной технологии создания ЭС, включающей оптимизацию архитектур и метаалгоритмов функционирования нейросетей при работе с информацией, и извлечение знаний из нейросетей является актуальной задачей.

Глава 2. Нейронные сети

2.1. Коннекционизм

Нейронные сети _ это сети, состоящие из связанных между собой простых элементов _ формальных нейронов. Нейроны моделируются довольно простыми автоматами, а вся сложность, гибкость функционирования и другие важнейшие качества определяются связями между нейронами. Каждая связь представляется как совсем простой элемент, служащий для передачи сигнала.

Научно-техническое направление, определяемое описанным представлением о нейронных сетях, называется коннекционизмом (по-ангийски connection - связь). С коннекционизмом тесно связан следующий блок идей:

1) однородность системы (элементы одинаковы и чрезвычайно просты, все определяется структурой связей);

2) надежные системы из ненадежных элементов и "аналоговый ренессанс" - использование простых аналоговых элементов;

3) "голографические" системы - при разрушении случайно выбранной части система сохраняет свои полезные свойства.

Существует большой класс задач: нейронные системы ассоциативной памяти, статистической обработки, фильтрации и др., для которых связи формируются по явным формулам. Но еще больше (по объему существующих приложений) задач требует неявного процесса. По аналогии с обучением животных или человека этот процесс также называют обучением.

Обучение обычно строится так: существует задачник - набор примеров с заданными ответами. Эти примеры предъявляются системе. Нейроны получают по входным связям сигналы - "условия примера", преобразуют их, несколько раз обмениваются преобразованными сигналами и, наконец, выдают ответ - также набор сигналов. Отклонение от правильного ответа штрафуется. Обучение состоит в минимизации штрафа как (неявной) функции связей.

Неявное обучение приводит к тому, что структура связей становится "непонятной" - не существует иного способа ее прочитать, кроме как запустить функционирование сети. Становится сложно ответить на вопрос: "Как нейронная сеть получает результат?" - то есть построить понятную человеку логическую конструкцию, воспроизводящую действия сети.

Это явление можно назвать "логической непрозрачностью" нейронных сетей, обученных по неявным правилам.

С другой стороны, при использовании нейронных сетей в экспертных системах возникает потребность прочитать и логически проинтерпретировать навыки, выработанные сетью. Для этого служат методы контрастирования - получения неявными методами логически прозрачных нейронных сетей.

2.2. Элементы нейронных сетей

Для описания алгоритмов и устройств в нейроинформатике выработана специальная "схемотехника", в которой элементарные устройства - сумматоры, синапсы, нейроны и т.п. объединяются в сети, предназначенные для решения задач.

Адаптивный сумматор вычисляет скалярное произведение вектора входного сигнала x на вектор параметров . На схемах он обозначается так, как показано на рис. 1. Адаптивным он называется из-за наличия вектора настраиваемых параметров . Для многих задач полезно иметь линейную неоднородную функцию выходных сигналов. Ее вычисление также можно представить с помощью адаптивного сумматора, имеющего n+1 вход и получающего на 0-й вход постоянный единичный сигнал (рис. 2).

Рис. 2. Неоднородный адаптивный сумматор

Рис. 1. Адаптивный сумматор.

Рис. 5. Формальный нейрон

Рис. 3. Нелинейный преобразова-тель сигнала.

Рис. 4. Точка ветвления

Нелинейный преобразователь сигнала изображен на рис. 3. Он получает скалярный входной сигнал x и переводит его в (x).

Точка ветвления служит для рассылки одного сигнала по нескольким адресам (рис. 4). Она получает скалярный входной сигнал x и передает его всем своим выходам.

Стандартный формальный нейрон составлен из входного сумматора, нелинейного преобразователя и точки ветвления на выходе (рис. 5).

Линейная связь _ синапс _ отдельно от сумматоров не встречается, однако для некоторых рассуждений бывает удобно выделить этот элемент (рис. 6). Он умножает входной сигнал x на “вес синапса” .

Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13


© 2003-2013
Рефераты бесплатно, курсовые, рефераты биология, большая бибилиотека рефератов, дипломы, научные работы, рефераты право, рефераты, рефераты скачать, рефераты литература, курсовые работы, реферат, доклады, рефераты медицина, рефераты на тему, сочинения, реферат бесплатно, рефераты авиация, рефераты психология, рефераты математика, рефераты кулинария, рефераты логистика, рефераты анатомия, рефераты маркетинг, рефераты релиния, рефераты социология, рефераты менеджемент.