|
pitz D., Shavlik J. Heuristically Expanding Knowledge-based Neural Networks / Proc. 13 Int. Joint Conf. on Artificial Intelligence, Chambery, France. Morgan Kaufmann, 1993. - pp.1360-1365.Opitz D., Shavlik J. Dynamically Adding Symbolically Meaningful Nodes to Knowledge-based Neural Networks / Knowledge-based Systems, 1995. - pp.301-311.Craven M., Shavlik J. Learning Symbolic Rules Using Artificial Neural Networks / Proc. 10 Int. Conf. on Machine Learning, Amherst, MA, USA. Morgan Kaufmann, 1993. - pp.73-80.Craven M., Shavlik J. Using Sampling and Queries to Extract Rules from Trained Neural Networks / Proc. 11 Int. Conf. on Machine Learning, New Brunswick, NJ, USA, 1994. - pp.37-45.Medler D.A., McCaughan D.B., Dawson M.R.W., Willson L. When Local int't Enough: Extracting Distributed Rules from Networks / Proc. 1999 IJCNN, Washington, DC, USA, 1999.Craven M.W., Shavlik J.W. Extracting Comprehensible Concept Representations from Trained Neural Networks / IJCAI Workshop on Comprehensibility in Machine Learning, Montreal, Quebec, Canada, 1995.Andrews R., Diederich J., Tickle A.B. A Survey and Critique of Techniques for Extracting Rules from Trained Artificial Neural Networks / Knowledge Based Systems, 1995, №8. - pp.373-389.Craven M.W., Shavlik J.W. Using Neural Networks for Data Mining / Future Generation Computer Systems, 1997.Craven M.W., Shavlik J.W. Rule Extraction: Where Do We Go From Here? Department of Computer Sciences, University of Wisconsin, Machine Learning Research Group Working Paper 99-1. 1999.Michalski R.S. A Theory and Methodology of Inductive Learning / Artificial Intelligence, 1983, Vol.20. - pp.111-161.McMillan C., Mozer M.C., Smolensky P. The Connectionist Scientist Game: Rule Extraction and Refinement in a Neural Network / Proc. XIII Annual Conf. of the Cognitive Science Society, Hillsdale, NJ, USA, 1991. Erlbaum Press, 1991.Language, meaning and culture: the selected papers of C. E. Osgood / ed. by Charles. E. Osgood and Oliver C. S. Tzeng. New York (etc.) : Praeger, 1990 XIII, 402 S.Горбань П.А. Нейросетевая реализация метода семантического дифференциала и анализ выборов американских президентов, основанный на технологии производства явных знаний из данных // Материалы XXXVII Международной научной студенческой конференции "Cтудент и научно-технический прогресс": Информационные технологии. Новосибирск, НГУ, 1999Публикации автора по теме диплома1. Горбань П.А. Нейросетевой анализ структуры индивидуального пространства смыслов. "Нейрокомпьютеры": разработка, применение. 2002, No 4. С. 14-19.2. Горбань П.А., Царегородцев В.Г. Как определить одни признаки, существенные для исходов президентских выборов в США, через другие? (пример применения нейросетевой технологии анализа связей) // Тезисы VI международной конференции "Математика. Компьютер. Образование". (25-30 января 1999 г. в г.Пущино). (Электронная версия: http:// www.biophys.msu.ru/ scripts/ trans.pl/rus/ cyrillic/ awse/ CONFER/ MCE99/ 072.htm )3. Gorban P.A. Relations between Social, Economic and Political Traits of USA Political Situation. Abstract: USA-NIS Neurocomputing Opportunities Workshop, Washington, DC, July 12-17, 1999. http:// phy025.lubb.ttuhsc.edu/ wldb/ Witali/ WWW/ P2_2.htm4. Горбань П.А. Демонстрация возможностей нейроимитатора NeuroPro 1.0 на примере выборов американских президентов. Материалы 6 Всероссийского семинара "Нейроинформатика и ее приложения" (2-4 октября 1998 г., Красноярск). Красноярск, изд. КГТУ. С. 43. 5. Горбань П.А. Нейросетевой анализ структуры индивидуального пространства смыслов Материалы 7 Всероссийского семинара "Нейроинформатика и ее приложения" (1-3 октября 1999 г., Красноярск). Красноярск, изд. КГТУ. С. 34-36.6. Горбань П.А. Нейросетевая реализация метода семантического дифференциала и анализ выборов американских президентов, основанный на технологии производства явных знаний из данных // Материалы 37 Международной конференции "Студент и научно-технический прогресс" (Новосибирск, апрель 1999). Новосибирск: изд. НГУ, 1999. С. 43.БлагодарностиАвтор благодарен своему научному руководителю, всем сотрудника группы "Нейрокомп" и, в особенности, В.Г. Царегородцеву за внимание к работе, поддержку и разрешение использовать результаты совместных работ в дипломе. Я существенно использовал в дипломной работе описание программы «НейроПро» (В.Г. Царегородцев), технический отчет с обзором экспертных систем (А. Батуро), а также лекции проф. А.Н. Горбаня по нейронным сетям. Приложение 1. Плакаты для защиты диплома. ТЕХНОЛОГИЯ ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ НЕЙРОННЫХ СЕТЕЙ: АПРОБАЦИЯ, ПРОЕКТИРОВАНИЕ ПО, ИСПОЛЬЗОВАНИЕ В ПСИХОЛИНГВИСТИКЕ ЦЕЛЬ РАБОТЫапробация гибкой технологии извлечения знаний из нейронных сетей, настраиваемой с учетом предпочтений пользователя; тестирование, пробная эксплуатация и разработка новой версии программных средств, реализующих данную технологию; проведение исследований индивидуальных пространств смыслов на основе данной технологии. ОСНОВНЫЕ ЗАДАЧИ РАБОТЫанализ разработанных методов извлечения явных знаний из нейронных сетей с указанием их ограничений и областей применимости;апробация гибкой настраиваемой на основе предпочтений пользователя технологии извлечения знаний, опирающейся на предварительное проведение комплексного упрощения нейронной сети, выполняющегося с учетом сформированных пользователем требований к результирующему виду извлекаемых знаний;тестирование, пробная эксплуатация и разработка новой версии программных средств, реализующих данную технологию;усовершенствование метода семантического дифференциала Осгуда при помощи технологии разреживания обучаемых нейронных сетей. НЕЙРОНЫ, СЕТИ, ОБУЧЕНИЕФормальный нейрон Слоистая сеть ОБУЧЕНИЕ - МИНИМИЗАЦИЯ ОШИБКИ НА ПРИМЕРАХ С ИЗВЕСТНЫМ ОТВЕТОМ МЕТОДЫ (АЛГОРИТМЫ) ОБРАТНОГО РАСПРОСТРАНЕНИЯ Вычисление сложной функции многих переменных представим, как движение по графу: в каждой его вершине производится вычисление простой функции (рис. а). Вычисление градиента (для оптимизации) представляется обратным движением (рис. б).
Рис. а. Прохождение вершины в прямом направлении. Рис. б. Прохождение вершины в обратном направлении. Схематическое представление вычисления сложной функции одного переменного и ее производных. ЗАДАЧА ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ НЕЙРОННОЙ СЕТИвырезание "всего лишнего" нейросеть логически прозрачная нейросетьданные неявные знания явные знанияНейросеть в ходе обучения формирует неявные знания, в ходе упрощения сети достигается логически прозрачная структура сети, удовлетворяющая некоторым заданным требованиям, и по ней сети возможно записать правила принятия решения в явном виде. Результатом процесса извлечения знаний должен являться набор правил, который с заданной точностью решает заданное число примеров обучающей выборкиЗНАЧИМОСТЬ И УПРОЩЕНИЕПоказатели значимости - оценки изменения значения штрафной функции после некоторой модификации нейросети.Показатели значимости нулевого порядка, основаны на рассмотрении абсолютной величины веса синапса. Показатели значимости первого порядка оценивают по линейному приближению изменение значения штрафной функции после модификации. Показатели значимости второго порядка используют второе тейлоровское приближение изменения штрафной функции после модификации. КРИТЕРИИ ЛОГИЧЕСКОЙ ПРОЗРАЧНОСТИ Чем меньше слоев нейронов в сети, тем сеть более логически прозрачна. В более сложных случаях: чем меньше нейронов в каждом из имеющихся путей прохождения сигналов в сети от входа к выходу, тем лучше. Чем меньше число нейронов в каждом слое сети, тем лучше. Чем меньше входных сигналов сети, тем лучше. Чем меньше число приходящих на нейрон сигналов, тем лучше. Чем меньше общее число синапсов в сети, тем лучше. Необходимо приведение значений настраиваемых параметров сети к конечному набору выделенных значений. Упрощение (контрастирование) нейронной сети строится как последовательный процесс исключения из сети наименее значимого элемента, уменьшающий нужный показатель, и дальнейшего подучивания сети. Если после шага упрощения невозможно доучивание сети до требуемой точности, то возвращаемся к сети, полученной на предыдущем шаге, и завершаем процесс упрощения. МЕТОД СЕМАНТИЧЕСКОГО ДИФФЕРЕНЦИАЛА Слова осмысляются человеком не через "толковый словарь", а через ощущения, переживания. Определить смысл слова - значит выделить этот комплекс переживаний. Путь к смыслу через качественные признаки понятия. ГИПОТЕЗА ОСГУДА - СУЩЕСТВУЮТ КООРДИНАТЫ СМЫСЛА: все существенные свойства понятия определяются на основании небольшого числа базисных свойств Cлово Основной базис Осгуда: Оценка («Хороший-Плохой»), Сила («Сильный-Слабый»), Активность («Активный-Пассивный») ОТЛИЧИЕ НАШЕЙ ПОСТАНОВКИ ОТ ЗАДАЧИ ОСГУДА |
У Осгуда | У нас | | Ищется базис для всех носителей языка («Средний базис»). | Ищется базис для индивидуального носителя языка («Базис индивидуальных смыслов»). | | Ищутся линейные связи. | Ищутся нелинейные связи (параметр, характеризующий регулярность связи - число нейронов). | | У Осгуда признаки, не восстанавливаемые по базисным, выбрасываются, как незначимые. | У нас объекты, признаки которых не удается восстановить, рассматриваются как особые, характеризующие индивидуальные отклонения («психоаналитические»). | | |
ОТЛИЧИЕ НАШИХ РЕЗУЛЬТАТОВ ОТ РЕЗУЛЬТАТОВ ОСГУДА|
У Осгуда | У нас | | Пространство смыслов трехмерно, ошибка предсказания свойств велика. | Размерность пространства смыслов индивидуальна, само пространство есть объединение типового MAN-многообразия с небольшим числом точек «психоаналитических» больших отклонений. Именно их наличие не позволяет дать точное «трехмерное» (среднекультурное) предсказание. | | |
КООРДИНАТЫ И ОСОБЫЕ ТОЧКИ ИНДИВИДУАЛЬНЫХ СМЫСЛОВЫХ ПРОСТРАНСТВОпределяющий набор признаков 1-го человека (размерность 7):Умный - глупыйШумный - тихийРазумный - неразумныйПлотный - рыхлыйДружественный-враждебныйСтрашный - не страшныйОпасный - безопасный.Исключения: горшок, теорема, наука, деньги2-го человека (размерность 6):Сильный - слабыйПриятный - неприятныйОпасный - безопасныйСтрашный - не страшныйДружественный-враждебныйУдобный - неудобный.Исключения: работа, жена, наука, деньги, тортик3-го человека (размерность 2):Приятный - неприятныйОпасный - безопасный.Исключения: нетОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ, ПОЛУЧЕННЫЕ ЛИЧНО АВТОРОМ1. Предложены следующие приемы, упрощающие и делающие более гибким процесс вербализации (семантического анализа - осмысления в терминах проблемной области) извлеченного из сети набора правил:a) На основе гипотезы о неединственности извлекаемых правил и учитывая, что разные фрагменты сети (поднаборы правил) будут более или менее правдоподобны и интерпретируемы, предложено конструирование новой, более понятной пользователю нейронной сети из наиболее просто интерпретируемых фрагментов других сетей, решающих ту же задачу.b) Предложено добавление выходного сигнала некоторого фрагмента сети (содержательно интерпретируемого и правдоподобного с точки зрения пользователя) в качестве нового интегрального признака в число независимых признаков таблицы данных, и решение задачи извлечения знаний на основе полученного расширенного набора признаков.2. Разработано техническое задание на новую версию программы-нейроимитатора, реализующую предложенные технологии.3. Усовершенствован метод семантического дифференциала Осгуда при помощи технологии разреживания обучаемых нейронных сетей. Проведена серия экспериментов, заключающихся в исследовании индивидуальных смысловых пространств, проинтерпретированы их результаты. 4. Предложена гипотеза о структуре индивидуального пространства смыслов: оно состоит из многообразия малой размерности, задаваемого культурой («ман-многообразия» от немецкого безличного местоимения «man») и сравнительно небольшого множества индивидуальных отклонений, которые могут быть важны для диагностики. Приложение 2. Статья: Горбань П.А. Нейросетевой анализ структуры индивидуального пространства смыслов. "Нейрокомпьютеры": разработка, применение. 2002, No 4. С. 14-19. УДК 681.31Нейросетевой анализ структуры индивидуального пространства смысловП.А.ГорбаньУсовершенствован метод семантического дифференциала Осгуда при помощи технологии разреживания обучаемых нейронных сетей. Проведена серия экспериментов, заключающихся в исследовании индивидуальных смысловых пространств, проинтерпретированы их результаты. Предложена гипотеза о структуре индивидуального пространства смыслов: оно состоит из многообразия малой размерности, задаваемого культурой («ман-многообразия» от немецкого безличного местоимения «man») и сравнительно небольшого множества индивидуальных отклонений, которые могут быть важны для диагностики. Каждая культура имеет небольшое количество специфических для нее ман -многообразий (субкультур).
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13
|
