Инструктивная версия адаптированной на русский язык модели Qwen/QwQ-32B-Preview. В модели был заменен токенизатор, затем произведено дообучение (Continued pre-raining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation). Благодаря новому токуенизатору (расширенный tiktoken cl100k с помощью униграм токаенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью Qwen/QwQ-32B-Preview. *Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях. Модель можно попробовать в поднятом Space (внизу в параметрах выбор модели): https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5 Замеры были произведены с использованием оффициального кода лидерборда (https://github.com/VikhrModels/rullmarena), но с repetitionpenalty=1.1**. Для сабмита на MERA был подготовлен кастомный системный промпт, который смягчает недостатки оценки на кодовых задачах. Для сравнения был также сделан сабмит с этим же системным промптом оригинальной модели. Тихомиров М., Чернышев Д. Содействие большой языковой модели русской адаптации с…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RefalMachine
Теги: qwen2, conversational, ru
Лайков: 3 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
