Тип публикации: доклад, тезисы доклада, статья из сборника материалов конференций
Конференция: Актуальные проблемы авиации и космонавтики; Красноярск; Красноярск
Год издания: 2024
Ключевые слова: система рекомендаций, Большие Языковые Модели (LLM), адаптация модели, выбор модели, размер модели и квантование, быстрое проектирование, тонкая настройка, LoRA (низкоранговая адаптация), recommendation system, Large Language Models (LLM), model adaptation, model selection, model size and quantization, prompt engineering, fine-tuning, LoRA (Low-Rank Adaptation)
Аннотация: Статья рассматривает разработку системы рекомендаций для опросов с фокусом на русскоязычный контент, используя локальные языковые модели (LLM). Анализ LLM выполнен через платформы вроде chatbot arena и open llm leaderboard на Hugging Face, с учетом их адаптации к русскому языку. Описаны методы адаптации моделей, включая отбор по раПоказать полностьюзмеру, квантование, prompt engineering и тонкую настройку с помощью LoRA для улучшения рекомендаций. Подробно изложен процесс тонкой настройки от подготовки данных до анализа результатов. The article discusses the development of a recommendation system for surveys targeting Russian-language content, using local language models (LLM). The analysis of LLMs was conducted through platforms such as chatbot arena and open llm leaderboard on Hugging Face, focusing on their adaptation to the Russian language. The methods of adaptation, including model selection based on size, quantization, prompt engineering, and fine-tuning using LoRA to improve recommendations, are described. The process of fine-tuning is detailed, from data preparation to the analysis of results.
Журнал: Актуальные проблемы авиации и космонавтики
Номера страниц: 74-76
Место издания: Красноярск