Этот репозиторий содержит локальное квантование EXL3 Qwen/Qwen3.8-27B для ExLlamaV3. — Базовая модель: Qwen/Qwen3.8-27B — Формат: EXL3 — Битрейт декодера: 4.0 bpw — Битрейт головки и MTP: 8 bpw — Кодовая книга: mul1 — Выходные масштабы: всегда — Калибровка: 8 строк x 512 столбцов — Шарды: 3 файла предохранителей — Целевое оборудование: один NVIDIA RTX 3090 — Нативный контекст в конфигурации: 262144 токены Уменьшенный набор калибровки потребовался, потому что при преобразовании большие распределения калибровки превышали доступную память хоста. Тестируйте этот артефакт, прежде чем использовать его в качестве производственной замены для квантований с более высокой калибровкой. — Все 64 слоя языковых моделей успешно квантованы. — Полный артефакт, загруженный на один RTX 3090 с ExLlamaV3. — Тест распределения и выгрузки кэша пройден. — HumanEval: 153/164, зачтенопри1 93,29 процента. Измеряется с помощью ExLlamaV3 на одном RTX 3090, один запрос на свежий процесс, температура 0, top-p 1 и 127 сгенерированных маркеров за цикл. Сообщаемая скорость — это пропускная способность декодирования, а не пропускная способность предварительного заполнения подсказки. В ходе выполнения 128 токенов использовалось рабочее пространство ExLlamaV3 с минимальным кэшем 2048 токенов. 64K Run — это измеренное предварительное заполнение и тест генерации, а не утверждение о том, что модель подходит для родного 256K…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: P4pps3n
Теги: exllamav3, qwen3_5, exl3, quantized, conversational, 4-bit
Лайков: 3 | Загрузок: 179
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
