My own (ZeroWw) quantizations. output and embed tensors quantized to f16. all other tensors quantized to q5k or q6k. Result: both f16.q6 and f16.q5 are smaller than q8_0 standard quantization and they perform as well as the pure f16.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ZeroWw
Теги: gguf, en, endpoints_compatible, conversational
Лайков: 3 | Загрузок: 82
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
A configurable Yi.1.5-9B fine-tuned using the approach configurable safety tuning (CST) from https://arxiv.org/abs/2404.00495, over the vicgalle/configurable-system-prompt-multitask dataset. As...
120-слойный, 103-битный параметр, объединяющий Midnight-Rose-70B-v2.0.3 с самим собой. Эта модель без цензуры. Вы несете ответственность за все, что...
Qwen2.5 — новейшая серия моделей большого языка Qwen. Для Qwen2.5 мы выпускаем ряд базовых языковых моделей и языковых...
0. TL;DR 1. Подробности модели 2. Подробности обучения 3. Использование 4. Оценка 5. Цитирование — Разработано: https://www.tii.ae —...
