Инструктивная версия адаптированной на русский язык модели Qwen2.5-14B-Instruct-1M (1 млн. контекстов, но рекомендуется, до +-260т). В модели был заменен токенизатор, затем произведено дообучение (продолжение предварительного обучения) на русскоязычном корпусе, после чего была применена техника LEP (обученное распространение распространения). Благодаря новому токенизатору (расширенный tiktoken cl100k с униграмом токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью Qwen-2.5-14B-Instruct. *Под ускорением генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях. Модель можно попробовать в поднятом пространстве (внизу в поле выбора модели): https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5 Замеры были произведены с использованием официального кода лидерборда (https://github.com/VikhrModels/rullmarena), но с повторением=1.1**. Для сабмита на MERA был подготовлен кастомный системный запрос, который смягчает недостатки кодовых задач. Для сравнения был также сделан образец с этим же системным промптом оригинальной модели. Тихомиров М., Чернышев Д.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: RefalMachine
Теги: gguf, ru, endpoints_compatible, conversational
Лайков: 6 | Загрузок: 44
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
