rccmsu/ruadapt_mistral_saiga_7b_v0.1

Генерация до 60% быстрее и обучение на 35% (на одинаковых русских текстовых последовательностях!) с HF из-за другого токенизатора. rccmsu/ruadaptmistral7bv0.1 обучен на телах сайгаков. Качество чуть хуже, чем у Ильи Гусева/сайгамистраль7блора, но быстрее из-за токенизатора. ПРЕДУПРЕЖДЕНИЕ! Загрузите токенизатор как AutoTokenizer.frompretrained(modelpath, use_fast=True) Статья: Тихомиров М., Чернышев Д. Влияние токенизации на русскую адаптацию LLaMa // Препринт arXiv arXiv:2312.02598. – 2023.

Модальности:
Генерация текста

Задача: Генерация текста
Автор: rccmsu
Теги: peft, ru
Лайков: 4  |  Загрузок: 8

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.