Эта модель sparsetral-16x7B-v2 дополнительно настроена с использованием SPIN на OpenHermes-2.5, смешанного с традиционными образцами DPO. Это итерация_1, временно приостанавливающая дальнейшее обучение в пользу использования DoRA вместо LoRA. Также можно начать с версии 3 для правильной поддержки токенов чата, а также обсудить добавление токенов функций + вызов функций. Если у вас есть какие-либо задачи, с которыми Спарсетрал не справился, не стесняйтесь присылать нам несколько подсказок/чатов + желаемые завершения, и мы позаботимся о том, чтобы ваша задача поддерживалась! — 8x A6000 — Базовая модель — sparsetral-16x7B-v2-SPINiter0 — Разветвленная версия unsloth для эффективного обучения — Длина последовательности: 4096 — Эффективный размер пакета: 64 — Скорость обучения: 5e-7 с линейным затуханием (коэффициент прогрева 0,1) — Эпохи: 2 — 100 тыс. выборок (50 тыс. новых SPIN + 50 тыс. из iter0) — QLoRA: — 256 r и 256 альфа — Справочник по документу: Эффективное по параметрам создание разреженности от плотного до смешанного состава экспертов для настройки инструкций для общих задач. Если вы заинтересованы в более быстром выводе, ознакомьтесь с нашей вилкой vLLM, которая добавляет поддержку разреженных данных.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: serpdotai
Теги: sparsetral, conversational, custom_code, en, endpoints_compatible
Лайков: 13 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
