История и применение нейронных сетей. Персептрон
Разработка искусственных нейронных систем началась с исследований математического моделирования нейронов, проведенных учеными Маккаллох и Питтс в 1943 году. Объяснение процесса обучения с помощью нейронов, предложенное ученым по фамилии Хебб (Hebb) в 1949 году.
В хеббовському обучении эффективность активизации одних нейронов другими возрастает по мере увеличения количества запусков. Термин «запуск» означает, что нейрон выпускает электрохимический импульс, способный стимулировать другие, связанные с ним нейроны.
В искусственной нейронной системе для моделирования изменений проводимости синапсов природных нейронов применяется способ корректировки весовых коэффициентов соединений между нейронами.
Персептрон
В 1961 году Розенблатт обнародовал свою книгу, значительно повлияла на дальнейший ход исследований нейронных систем. В ней рассматривался разновидность искусственной нейронной системы, получивший название «персептрон».
Персептрон состоит из двух сегментов нейронов и предоставляет возможность использовать простой алгоритм обучения. Весовые коэффициенты в нем должны устанавливаться вручную, в отличие от современных искусственных нейронных систем, которые способны самостоятельно устанавливать собственные весовые коэффициенты на основе обучения.
История нейронных сетей
Ранняя эпоха исследования персептрон подошла к концу в 1969 году, когда ученые Минский (Mmsky) и Пейперт (Papert) обнародовали книгу «Perceptrons», в которой показали теоретические ограничения персептрона, что до тех пор рассматривался как вычислительная машина общего назначения.
Авторы работы подчеркнули тот факт, что персептроны способны вычислять только 14 из 16 основных логических функций, поэтому имеют критические недостатки. Это означало, что персептрон нельзя считать вычислительным устройством общего назначения.
Этот момент и можно назвать пунктом начала истории развития нейронных сетей. Через эти открытия, бюджетное финансирование исследований в области искусственных нейронных систем было сокращено в пользу символического подхода к разработке искусственного интеллекта с использованием таких языков, как LISP.
В 1970-х годах получают широкое распространение новые способы представления символической информации в разработках искусственного интеллекта на основе фреймов, предложенные Минским. В дальнейшем, на основе фреймов, был создан современный подход, в котором применяются сценарии.
Искусственная нейронная сеть Хопфилда
В начале 1980-х годов ученые, которые составляли группу по исследованию возможностей проведения параллельных вычислений, проявили заинтересованность к теориям познания, основанных на нейронных сетях.
В результате, Хопфилд (Hopfield) разработал надежное теоретическое основание применения искусственных нейронных систем на примере так называемой сети Хопфилда. С ее помощью ученый доказал, что искусственные нейронные системы могут успешно решать самые разнообразные задачи.
В частности, Хопфилд показал, что с помощью искусственной нейронной системы, задачу коммивояжера можно решать за один час, тогда как в обычных алгоритмических решениях происходит комбинаторный взрыв.
Общая структура сети Хопфилда приведена на рис. 1.
Cеть со встречным распространением
Еще одним широко известным типом искусственной нейронной системы является сеть со встречным распространением, предложенная Хехт-Нилсен (Hecht-Nielsen) в 1986 году. С ее помощью было установлено, что один из важных теоретических результатов в математике, теорема Колмогорова, можно интерпретировать как доказательство того, что трисегментна сеть с n входами и нейронами в скрытом сегменте позволяет представить любую непрерывную функцию.
Важный пример эффективного обучения с помощью обратного распространения был продемонстрирован с помощью нейронной сети, которая училась правильному произношению слов, представленных в виде текста.
Эта искусственная нейронная система обучалась путем корректировки своего выхода с помощью устройства преобразования текста в речь, озаглавленный DECTalk. Для разработки правил грамотного произношения, которые были применены в устройстве DECTalk, понадобилось около двадцати лет лингвистических исследований.
В отличие от него, искусственная нейронная система усвоила эквивалентные навыки произношения за одни сутки, после прослушивания правильного произношения словосочетаний при чтении текста. При этом, в этой искусственной нейронной системе не было заложено, путем программирования, никаких первичных лингвистических навыков.
Искусственные нейронные системы были также применены для распознавания радарных целей с помощью компьютеров. Существует перспектива создания на основе новых реализаций нейронных сетей с применением оптических компонентов, нового поколения вычислительной техники - оптических компьютеров. По прогнозам, их быстродействие будет способна превысить быстродействие современных электронных компьютеров в миллионы раз.
Привлекательность реализаций искусственных нейронных систем на основе оптических компонентов обусловлена тем, что свет характеризуется свойством параллельного распространения. Это означает, что не происходит взаимного влияния между лучами света, совместно распространяется.
Кроме того, такие оптические компоненты, как зеркала, линзы, высокоскоростные программируемые модуляторы света, массивы оптических устройств и дифракционные решетки, позволяют достаточно легко создавать и осуществлять манипуляции с большими количествами фотонов. Искусственные нейронные системы могут быть также положены в основу экспертных систем.
В частности, в одной из известных экспертных систем искусственная нейронная система является базой знаний в области диагностики заболеваний, которая была сформирована путем обучения на основе примеров, взятых из практической медицины. Эта экспертная система пытается распознать заболевание, используя, в качестве входных данных, его симптомы.
Чтобы использовать базу знаний на основе искусственной нейронной системы была спроектирована машина логического вывода, которая называется МAСIE (Matrix Controlled Inference Engine). В этой системе используется прямой логический вывод - для формирования логических выводов, и обратный логический вывод - для передачи пользователю запросов на предоставление сведений, необходимых для нахождения решений.
Машина MACIE способна интерпретировать ответы искусственной нейронной системы и вырабатывать правила IF-THEN, применяемых для объяснения ее знаний. В такой экспертной системе на основе искусственной нейронной системы используется индуктивное обучение. Это означает, что система логически формирует, с помощью примеров, содержащуюся в ее базе знаний.
Напомним, что индукция - это процесс логического вывода общего вывода из промежуточных. Существует значительное количество коммерческих программных средств нахождения решений, позволяющих явно вырабатывать правила на основе примеров. Индуктивное обучение используется для устранения узких мест, связанных с приобретением знаний.
Все нагрузки приобретения знаний возлагается на экспертную систему. Благодаря этому появляется возможность сокращать время разработки и повышать надежность информационной системы, способной логическим путем выводить правила, которые до тех пор не были известны. Это так же повлияло на задачи нейронных сетей.