Адаптация модели T-pro-it-1.0 на русском языке. В модели был заменен токенизатор, затем произведено дообучение (продолжение предварительного обучения) на русскоязычном корпусе, после чего была применена техника LEP (обученное распространение распространения). Благодаря новому токенизатору (расширенный tiktoken cl100k с униграмом токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью T-pro-it-1.0. *Под ускорением генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях. Модель можно попробовать в поднятом пространстве (внизу в поле выбора модели): https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5 Замеры были произведены с использованием официального кода лидерборда (https://github.com/VikhrModels/rullmarena), но с повторением=1.1**. Тихомиров М., Чернышов Д. Содействие адаптации большой языковой модели к русскому языку с помощью выученного встраивания распространения //Журнал языка и образования. – 2024. – Т. 10. – №. 4. – С. 130-145. Тихомиров М., Чернышев Д. Влияние токенизации на российскую адаптацию LLaMa // Открытая конференция Иванников Испрас 2023 (ISPRAS). – IEEE, 2023. –…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RefalMachine
Теги: qwen2, conversational, ru
Лайков: 13 | Загрузок: 270
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
