Эта модель заняла первое место в тесте Creative Write Benchmark (https://eqbench.com/creative_writing.html) 10 сентября 2024 г. — Gutenberg: https://huggingface.co/datasets/jondurbin/gutenberg-dpo-v0.1 — Тщательно подобранный собственный набор данных для творческого письма. Метод обучения: SimPO (GitHub — Princeton-nlp/SimPO: SimPO: Simple Preference Optimization с Награда без ссылок) Он достигает следующих результатов в наборе оценок: — Потеря: 1,0163 — Награды/выбрано: -21,6822 — Награды/отклонено: -47,8754 — Награды/точность: 0,9167 — Награды/маржа: 26,1931 — Logps/отклонено: -4,7875 — Logps/выбрано: -2,1682 — Логиты/отклонено: -17,0475 — Логиты/выбрано: -12,0041 Во время обучения использовались следующие гиперпараметры: — скорость обучения: 8e-07 — размер обучающего пакета: 1 — размер evalbatchsize: 1 — начальное число: 42 — распределенный тип: multi-GPU — число устройств: 8 — градиентаккумуляционные шаги: 16 — общий размер обучающего пакета: 128 — totalevalbatchsize: 8 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: cosine — lrschedulerwarmupratio: 0.1 — num_epochs: 1.0 — Transformers 4.43.4 — Pytorch 2.3.0a0+ebedce2 — Наборы данных 2.20.0 — Токенизаторы 0.19.1 Ищем менеджера по продукту и операционного менеджера…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ifable
Теги: gemma2, conversational, text-generation-inference, endpoints_compatible
Лайков: 66 | Загрузок: 43
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
