Эта модель sparsetral-16x7B-v2 дополнительно настроена с использованием SPIN на OpenHermes-2.5, смешанного с традиционными образцами DPO. Это итерация_0, планируйте продолжать делать итерации, пока улучшения не прекратятся. — 8x A6000s — Базовая модель sparsetral-16x7B-v2 — Раздвоенная версия unsloth для эффективного обучения — Длина последовательности: 4096 — Эффективный размер пакета: 64 — Скорость обучения: 5e-7 с линейным затуханием (коэффициент прогрева 0,1) — Эпохи: 2 — 50 тыс. выборок (~ 15 тыс. традиционных образцов dpo, остальное SPIN) — QLoRA: — 256 r и 256 альфа — Справочник по документу: Эффективное создание параметров разреженности от плотного до смешанного состава экспертов для настройки инструкций для общих задач. Если вы заинтересованы в более быстром выводе, ознакомьтесь с нашей вилкой vLLM, которая добавляет поддержку разреженных данных.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: serpdotai
Теги: sparsetral, conversational, custom_code, en, endpoints_compatible
Лайков: 8 | Загрузок: 110
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
