Перевод названия: ТОКЕНИЗАЦИЯ ПО СЛОВАМ И ВЫДЕЛЕНИЕ N-ГРАММ ИЗ ТЕКСТА НА ЕСТЕСТВЕННОМ ЯЗЫКЕ

Тип публикации: доклад, тезисы доклада, статья из сборника материалов конференций

Год издания: 2021

Ключевые слова: python, tokenizing, natural languages, python programming language, токенизация, естественные языки

Аннотация: This paper considers the possibilities of the Python Programming Language tools for word tokenization and n-gram extraction from natural language texts. Рассматриваются возможности инструментов языка Python для токенизации слов и выделения н-грам из текста на естественном языке.

Выпуск журнала: Часть 2

Номера страниц: 14-16

Место издания: Красноярск

Издатель: Федеральное государственное бюджетное образовательное учреждение высшего образования "Сибирский государственный университет науки и технологий имени академика М.Ф. Решетнева"

• Ayoshin I. T. (Reshetnev Siberian State University of Science and Technology)
• Fedorov V. A. (Reshetnev Siberian State University of Science and Technology)
• Gorodov A. A. (Reshetnev Siberian State University of Science and Technology)
• Goncharov A. E. (Reshetnev Siberian State University of Science and Technology)
• Под общей редакцией Ю.Ю. Логинова

• РИНЦ (eLIBRARY.RU)