Тип публикации: статья из журнала
Год издания: 2022
Идентификатор DOI: 10.20948/graphicon-2022-538-547
Ключевые слова: gesture recognition, recurrent neural network, gestures of the Siberian region, deep learning, распознавание жестов, рекуррентная нейронная сеть, жесты Сибирского региона, глубокое обучение
Аннотация: Распознавание жестов является важной задачей, в частности для общения глухого и слабослышащего населения с людьми, не владеющими жестовым языком. Русский жестовый язык изучен слабо, русский жестовый язык Сибирского региона обладает значительными отличиями от других в рамках русской языковой группы. Для русского жестового языка отсуПоказать полностьютствует общепризнанный набор данных. В работе представлен алгоритм распознавания жестов по видеоданным. В основе алгоритма распознавания жестов лежит выделение ключевых признаков рук и позы человека. Классификация жестов выполнена с помощью рекуррентной нейронной сети LSTM. Для обучения и тестирования результатов распознавания жестов самостоятельно разработан набор данных, состоящий из 10 жестовых слов. Отбор слов для набора данных выполнен среди наиболее популярных слов русского языка, а также с учетом максимальной разницы в произношении жестов языкового диалекта Сибирского региона. Реализация алгоритма распознавания жестов выполнена с использованием технологий проектирования и глубокого обучения нейронных сетей Keras, библиотеки компьютерного зрения OpenCV, фреймворка машинного обучения MediaPipe, а также посредством других вспомогательных библиотек. Экспериментальные исследования, проведенные на 300 видеопоследовательностях, подтверждают эффективность предложенного алгоритма. Sign recognition is an important task, in particular for the communication of the deaf and hard of hearing population with people who do not know sign language. Russian sign language is poorly studied, Russian sign language of the Siberian region has significant differences from others within the Russian language group. There is no generally accepted data set for Russian Sign Language. The paper presents a gesture recognition algorithm based on video data. The gesture recognition algorithm is based on the identification of key features of the hands and posture of a person. Gestures were classified using the LSTM recurrent neural network. To train and test the results of gesture recognition, we independently developed a data set consisting of 10 sign words. The selection of words for the data set was made among the most popular words of the Russian language, as well as taking into account the maximum difference in the pronunciation of gestures of the language dialect of the Siberian region. The implementation of the gesture recognition algorithm was carried out using Keras neural network design and deep learning technologies, the OpenCV computer vision library, the MediaPipe machine learning framework, and other auxiliary libraries. Experimental studies conducted on 300 video sequences confirm the effectiveness of the proposed algorithm.
Журнал: Труды Международной конференции по компьютерной графике и зрению "Графикон"
Выпуск журнала: № 32
Номера страниц: 538-547
ISSN журнала: 26188317
Место издания: Москва
Издатель: Федеральное государственное учреждение "Федеральный исследовательский центр Институт прикладной математики им. М.В. Келдыша Российской академии наук"