Мои собственные (ZeroWw) квантования. вывести и внедрить тензоры, квантованные до f16. все остальные тензоры квантованы до q5k или q6k. Результат: оба f16.q6 и f16.q5 меньше стандартного квантования q8_0 и работают так же хорошо, как чистый f16.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ZeroWw
Теги: gguf, en, endpoints_compatible
Лайков: 5 | Загрузок: 48
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Этот квант изменил часть кода модели, чтобы устранить проблему переполнения при использовании float16. Для обслуживания с использованием vLLM...
1. ✅对bloom-7b — 模型做了sft, 本次版本为V2版本(使用了150 Вт (条有监督数据做sft), 相较于V1版本, 效果更好！！！ 2. 🚀 训练代码和推理代码全部分享, 可以查看链接https://github.com/yuanzhoulvpi2017/zeronlp/tree/main/chinesebloom Модальности:Генерация текста Области применения:Диалог /...
Модель генерации текста Модальности:Генерация текста Задача: Генерация текста Автор: openaccess-ai-collective Теги: mpt, custom_code, en, text-generation-inference, endpoints_compatibleЛайков: 21 | ...
Представляем SauerkrautLM-14b-MoE-LaserChat – нашу квашеную капусту (2x7b) 14b MoE версию мощной квашеной капустыLM-7b-LaserChat и ям-пелега/Experiment26-7B! Объединив две модели,...
