Это квантованная версия ifable/gemma-2-Ifable-9B, созданная с использованием llama.cpp. Гутенберг: https://huggingface.co/datasets/jondurbin/gutenberg-dpo-v0.1. Тщательно подобранный собственный набор данных для творческого письма. Метод обучения: SimPO (GitHub — Princeton-nlp/SimPO: SimPO: Простая оптимизация предпочтений с вознаграждением без ссылок). Он достигает следующих результатов. в наборе оценок: — Убыток: 1,0163 — Награды/выбрано: -21,6822 — Награды/отклонено: -47,8754 — Награды/точность: 0,9167 — Награды/маржа: 26,1931 — Журналы/отклонены: -4,7875 — Журналы/выбраны: -2,1682 — Логиты/отклонены: -17.0475 — Логиты/выбрано: -12.0041 Во время обучения использовались следующие гиперпараметры: — скорость обучения: 8e-07 — trainbatchsize: 1 — evalbatchsize: 1 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 8 -gradientaccumulationsteps: 16 — totaltrainbatchsize: 128 — totalevalbatchsize: 8 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: cosine — lrschedulerwarmupratio: 0.1 — num_epochs: 1.0 — Трансформеры 4.43.4 — Pytorch 2.3.0a0+ebedce2 — Наборы данных 2.20.0 — Токенизаторы 0.19.1 Мы ищем менеджера по продукту и менеджера по эксплуатации для создания приложений по нашей модели и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: QuantFactory
Теги: gguf, endpoints_compatible, conversational
Лайков: 12 | Загрузок: 236
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
