Перевод названия: ARTIFICIAL NEURAL NETWORK TECHNOLOGY FOR LIP READING
Тип публикации: доклад, тезисы доклада, статья из сборника материалов конференций
Конференция: Региональные проблемы дистанционного зондирования Земли; Красноярск; Красноярск
Год издания: 2021
Ключевые слова: cnn, lstm, Automatic Lip Reading, Russian-speaking person, распознавание речи, чтение по губам, виземы, русскоговорящий спикер
Аннотация: В работе представлено использование нейронных сетей для задачи автоматизированного чтения речи по артикуляции губ. Распознавание речи выполняется в два этапа. Сначала осуществляется поиск лица и выделение области губ в отдельном кадре видеопоследовательности с использованием признаков Хаара. Далее последовательность кадров поступаеПоказать полностьют на вход сверточной и рекуррентной нейронных сетей глубокого обучения для распознавания виземы речи. Экспериментальные исследования проведены с использованием самостоятельно полученных видеороликов с русскоговорящими спикерами. The paper presents the use of neural networks for the task of automated speech reading by lip ar-ticulation. Speech recognition is performed in two stages. At the stage of searching for lips on the face in the video frame, Haar primitives are used. Next, the sequence of frames is transmitted to the input of convolutional and recurrent neural networks for speech phoneme recognition. Experimental studies were conducted using videos with Russian-speaking persons.
Журнал: Региональные проблемы дистанционного зондирования Земли
Номера страниц: 55-58
Место издания: Красноярск
Издатель: Сибирский федеральный университет