Я просто работаю. Вся заслуга первоначальных создателей: Noromaid крута. «rpcal» означает, что эта модель была квантована с использованием набора данных, специфичного для RP, вместо стандартного набора данных ламы. Мне не удалось количественно оценить реальные различия в одной и той же модели, «сжатой» этими двумя разными методами. Моя текущая теория состоит в том, что он дает «хорошие ответы» так же часто, как и аналогичная квантованная модель, однако при использовании этого метода хорошие ответы «субъективно лучше». Любая помощь в количественной оценке этого будет оценена по достоинству. Кто-нибудь знает Аюми? Эта модель: EXL2 @ 3,5 бит/мин, для калибровки используются данные RP. Это было запрошено здесь. (Личные настройки SillyTavern включены в каталог «ST». Ваш опыт может отличаться.) Эта модель была обучена на вилке Zloss Чарльза и должна устранить проблему, которая была у модели. Причина в том, что Axolotl объединяет тонкую настройку с базовой моделью с весом 1.0, но это слишком много, поэтому я использую другой скрипт, доступный ЗДЕСЬ, для объединения с меньшим весом, к сожалению, он не использует специальный токен Chatml. По сути, это похоже на Orca2. Этот репозиторий содержит файлы FP16 Noromaid-v0.4-Mixtral-Instruct-8x7b-Zloss. Если вы хотите, чтобы ваш рейтинг был здесь, отправьте нам сообщение на DC…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: zaq-hack
Теги: mixtral, conversational, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
