rccmsu/ruadapt_saiga2_7b_v0.1

ПРЕДУПРЕЖДЕНИЕ! Загрузите токенизатор как AutoTokenizer.frompretrained(modelpath, use_fast=True) Генерация на 60% быстрее и обучение на 35% (на идентичных русских текстовых последовательностях!) с HF из-за разных токенизаторов. Colab: https://colab.research.google.com/drive/109ZhEB6STy-0jO-Z4ttkWr1jgFCTRW?usp=sharing Статья: Тихомиров М., Чернышев Д. Влияние токенизации на русскую адаптацию LLaMa // Препринт arXiv arXiv:2312.02598. – 2023. Версия инструкции (датасеты «Сайга») российской адаптации LLaMa-2-7B с заменой токенизатора. Доклад: Тихомиров М.М., Чернышев Д.И., Влияние токенизации на русскую адаптацию LLaMa (скоро)

Модальности:
Генерация текста

Задача: Генерация текста
Автор: rccmsu
Теги: peft, ru
Лайков: 6  |  Загрузок: 1

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.