> Модель, соответствующая результатам SPIN с очень небольшим количеством данных (в 30 раз меньше), тщательно курируемая замечательным сообществом Data Is Better Together. Эта модель представляет собой доработанную версию argilla/zephyr-7b-spin-iter2-v0 на наборе данных argilla/10kpromptsSPINiter3zephyrtop и argilla/10kpromptsSPINiter2zephyrtop. Проверьте этот репозиторий на предмет полного воспроизводимого кода с использованием исходной реализации SPIN и distilabel. Если вы хотите внести свой вклад в создание таких высококачественных наборов данных, внесите свой вклад в коллективную инициативу DIBT. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 1e-07 — trainbatchsize: 8 — evalbatchsize: 8 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 4 -gradientaccumulationsteps: 2 — totaltrainbatchsize: 64 — totalevalbatchsize: 32 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: линейный — lrschedulerwarmupratio: 0,1 — num_epochs: 2,0 — Трансформеры 4.37.0 — Pytorch 2.1.2+cu121 — Наборы данных 2.14.6 — Токенизаторы 0.15.2
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: argilla
Теги: mistral, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
