Недавно я столкнулся с этой квантованной моделью Noromaid с термином «rpcal» на конце. Секретный соус использовал для квантования набор данных RP вместо стандартного набора данных ламы. Во время тест-драйва выяснилось, что это оказало огромное влияние на качество продукции, поэтому я пытаюсь оценить, имеет ли это существенное значение. Я планирую провести различные мероприятия, например «Тест Сары», чтобы увидеть, смогу ли я увидеть какие-либо объективные различия. Моя любимая модель последних нескольких недель доставляла мне настоящее удовольствие, поэтому я хочу сравнить ее с этой. Любимое: zaq-hack/Noromaid-v0.4-Mixtral-Instruct-8x7b-Zloss-bpw300-h6-exl2 Эта модель: EXL2 @ 3,0 бит в секунду с использованием образцов RP вместо стандартной калибровки. Я просто работаю. Вся заслуга первоначальных создателей: Noromaid крута. Эта модель была обучена на вилке Zloss Чарльза и должна исправить проблему, которая была в модели. Причина в том, что Axolotl объединяет тонкую настройку с базовой моделью с весом 1.0, но это слишком много, поэтому я использую другой скрипт, доступный ЗДЕСЬ, для объединения с меньшим весом, к сожалению, он не использует специальный токен Chatml. По сути, это похоже на Orca2. Этот репозиторий содержит файлы FP16…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: zaq-hack
Теги: mixtral, conversational, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
