Инструктивная версия адаптирована для языка модели Qwen2.5-32B. В модели был заменен токенизатор, затем произведено дообучение (Продолжение предварительного обучения) на русскоязычном корпусе, после чего была применена техника LEP (Распространение встраивания знаний, статья скоро будет). Благодаря новому токенизатору (расширенный tiktoken cl100k с униграмом токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью Qwen-2.5-32B-Instruct. *Под ускорением генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях. Модель можно попробовать в поднятом пространстве (внизу в поле выбора модели): https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5 Замеры были произведены с использованием официального кода лидерборда (https://github.com/VikhrModels/rullmarena), но с повторением=1.1**. Для сабмита на MERA был подготовлен кастомный системный запрос, который смягчает недостатки кодовых задач. Для сравнения был также сделан образец с этим же системным промптом оригинальной модели. Тихомиров М., Чернышев Д. Содействие большой языковой модели русского…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: msu-rcc-lair
Теги: qwen2, conversational, ru
Лайков: 48 | Загрузок: 73
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
