Инструктивная версия адаптированной на русском языке модели deepseek-ai/DeepSeek-R1-Distill-Qwen-14B. В модели был заменен токенизатор, затем произведено дообучение (продолжение предварительного обучения) на русскоязычном корпусе, после чего была применена техника LEP (обученное распространение распространения). Благодаря новому токенизатору (расширенный tiktoken cl100k с униграмом токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью deepseek-ai/DeepSeek-R1-Distill-Qwen-14B. *Под ускорением генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях. Модель можно попробовать в поднятом пространстве (внизу в поле выбора модели): https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5 Замеры были произведены с использованием официального кода лидерборда (https://github.com/VikhrModels/rullmarena), но с повторением=1.1**. Для сабмита на MERA был подготовлен кастомный системный запрос, который смягчает недостатки кодовых задач. Для сравнения был также сделан образец с этим же системным промптом оригинальной модели. Тихомиров М., Чернышев Д. Содействие крупным…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RefalMachine
Теги: gguf, ru, endpoints_compatible, conversational
Лайков: 7 | Загрузок: 104
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
