Перевод названия: HYBRID ALGORITHM FOR CONVOLUTIONAL NEURAL NETWORK LEARNING
Тип публикации: статья из журнала
Год издания: 2016
Ключевые слова: convolutional neural network, genetic algorithm, back propagation algorithm, Human-machine interaction, конволюционная нейронная сеть, генетический алгоритм, алгоритм обратного распространения ошибки, человеко-машинное взаимодействие
Аннотация: Задачи распознавания шаблонов в изображениях на сегодняшний день решаются во многих областях - от анализа земной поверхности спутниками до анализа лица человека в системах человеко-машинного взаимодействия. Одним из самых успешных алгоритмов по анализу и распознаванию изображений является конволюционная нейронная сеть. Алгоритм обрПоказать полностьюатного распространения ошибки, используемый при обучении таких сетей, является градиентным алгоритмом, а следовательно, зачастую сходится к локальному оптимуму. Предлагается гибридный алгоритм обучения конволюционной сети, нацеленный на поиск глобального оптимума и состоящий из двух этапов. На первом этапе ведется поиск подобласти глобального оптимума с помощью генетического алгоритма, а на втором этапе используется алгоритм обратного распространения ошибки для нахождения глобального оптимума. Генетический алгоритм обладает внутренней процедурой поддержания разнообразия популяции решений, что позволяет более полно исследовать пространство поиска и находить разные удачные конфигурации конволюционной сети. Найденное генетическим алгоритмом решение исполь- зуется на втором этапе в качестве начального приближения весов сети. Далее сеть обучается с помощью алгоритма обратного распространения ошибки. Разработанный гибридный алгоритм был протестирован на задаче распознавания эмоций, было проведено его сравнение с традиционным алгоритмом обратного распространения ошибки. Сравнение проводилось по точности классификации, а также по F-мере для задачи распознавания эмоций в двух постановках: классификация, зависимая от спикера, и классификация, независимая от спикера. Гибридный алгоритм показал лучшую эффективность по обоим критериям в обеих постановках задачи по сравнению со стандартным алгоритмом обучения конволюционной нейронной сети. The problems of image pattern recognition are nowadays solved in many areas - beginning with satellite analysis of the Earth surface all the way to human face analysis in the human-machine interaction systems. One of the most successful algorithms of image analysis and recognition is the convolutional neural network. The back propagation algorithm used for training of these networks belongs to the class of gradient algorithms; therefore it often converges to local minima. In this paper we propose a hybrid algorithm for convolutional network training, which is aimed at searching for global optimum, and consisting of two stages. At the first stage a genetic algorithm is used to search for the subdomain of the search space that includes the global optimum, whereas at the second stage a back propagation algorithm is used to find the actual global optimum. Genetic algorithm includes an internal procedure that maintains diversity of the solutions population, which allows examining the search space more thoroughly and finding various successful convolutional network configurations. The solution found by the genetic algorithm is used at the second stage as an initial approximation of network weights. After that the network is trained using a back propagation algorithm. The developed hybrid algorithm has been tested on the emotion recognition problem; it has been compared to a traditional back propagation algorithm. A comparison was made on the classification accuracy, as well as the F-measure for the emotion recognition problem in two formulations - speaker-dependent classification, and speaker-independent classification. Hybrid algorithm has yielded a better performance according to both criteria, and in both problem formulations compared to the standard algorithm used for convolutional neural network training.
Журнал: Вестник Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева
Выпуск журнала: Т. 17, № 4
Номера страниц: 871-877
ISSN журнала: 18169724
Место издания: Красноярск
Издатель: Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева