Недавно я столкнулся с этой квантованной моделью Noromaid с термином «rpcal» на конце. Секретный соус использовал для квантования набор данных RP вместо стандартного набора данных ламы. Во время тест-драйва это оказало огромное влияние на качество продукции, но я собираюсь сделать пару собственных, чтобы сравнить результаты. EXL2 @ 4.00bpw Вся заслуга первоначальных создателей: Noromaid — это круто. Эта модель была обучена на вилке Zloss Чарльза и должна исправить проблему, которая была в модели. Причина в том, что Axolotl объединяет тонкую настройку с базовой моделью с весом 1.0, но это слишком много, поэтому я использую другой скрипт, доступный ЗДЕСЬ, для объединения с меньшим весом, к сожалению, он не использует специальный токен Chatml. По сути, это похоже на Orca2. Этот репозиторий содержит файлы FP16 Noromaid-v0.4-Mixtral-Instruct-8x7b-Zloss. Если вы хотите, чтобы ваш рейтинг был здесь, отправьте нам сообщение в DC, и мы разместим здесь его скриншот. Имя DC — «ИКАридев» и «Унди». — Aesir 1, 2 и 3 модифицированы нами, автор (MinervaAI / Gryphe) — LimaRP-20231109 (Lemonilia) — ToxicQAFinal (NobodyExistsOnTheInternet — No-robots-ShareGPT (Doctor-Shotgun)
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: zaq-hack
Теги: mixtral, conversational, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
