Эта модель представляет собой доработанную версию mistralai/Mistral-7B-v0.1 в наборе данных mhenrichsen/context-aware-splits-english. В наборе оценок достигаются следующие результаты: — Потеря: 0,0253. Эта модель используется для разделения текстов с учетом контекста. Используется для приложений RAG. — Данная модель является адаптером для Мистраля 7б. Он использует формат Альпаки: Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0002 — trainbatchsize: 4 — evalbatchsize: 4 — начальное число: 42 — градиентаккумуляция шагов: 8 — totaltrainbatchsize: 32 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: косинус — lrschedulerwarmupsteps: 10 — число эпох: 1 — Трансформеры 4.35.2 — Pytorch 2.0.1+cu118 — Наборы данных 2.15.0 — Токенизаторы 0.15.0
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mhenrichsen
Теги: mistral, generated_from_trainer, en, text-generation-inference, endpoints_compatible, 4-bit, bitsandbytes
Лайков: 9 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
