(Я собираюсь переобучить это, эта модель — провал) Эта модель представляет собой доработанную версию mistralai/Mistral-7B-v0.1 на наборе данных Кимико. На оценочном наборе он достигает следующих результатов: — Потеря: 2,1173 Тот же набор данных, что и у Kimiko-v2, но на новой модели. ЭТО НЕ ПОЕЗД НА НАБОРЕ ДАННЫХ V3. В качестве эксперимента по точной настройке новой модели 7B. Вы можете использовать это для ролевой игры или в качестве помощника. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,00005 — trainbatchsize: 4 — evalbatchsize: 4 — начальное число: 42 — градиентаккумуляция шагов: 16 — totaltrainbatchsize: 64 — оптимизатор: Адам с betas=(0,9,0,95) и epsilon=1e-05 — lrschedulertype: косинус — lrschedulerwarmupsteps: 10 — numepochs: 2 — Трансформеры 4.34.0.dev0 — Pytorch 2.0.1+cu118 — Наборы данных 2.14.5 — Токенизаторы 0.14.0
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Chat-Error
Теги: mistral, generated_from_trainer, endpoints_compatible, 4-bit, bitsandbytes
Лайков: 7 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
