В этом репозитории размещено квантование 4,5 бит на вес (bpw) модели Calme-3.2-instruct-78b, использующее формат ExLlamaV2 для эффективного вывода с возможностями высокого контекста. Эта модель представляет собой доработку Qwen 2.5. — Формат: ExLlamaV2 4.5bpw — Версия: ExLlamaV2 0.2.6 — Размер модели: 78 миллиардов параметров — Использование VRAM: прибл. 44 ГБ (контекст 32 000) — Калибровка: — Строков: 115 — Длина: 2048 — Набор данных: (по умолчанию) Процесс квантования снижает использование памяти и задержку вывода, сохраняя при этом высокую производительность для задач генерации текста. Чтобы использовать эту квантованную модель, убедитесь, что у вас установлена библиотека ExLlamaV2: — Формат EXL2 требует оборудования Nvidia, но работает быстрее и с меньшим объемом оперативной памяти, чем GGUF. — Поддерживает 44 ГБ видеопамяти с 32 000 контекстных окон. — Минимум 40 ГБ контекстного окна 1024. — Высокая оптимизация для вывода, что делает его идеальным для сред с ограниченными ресурсами. — Совместимость с системами подсказок на основе ChatML. — Автор оригинальной модели: MaziyarPanahi — Квантование: DavidCatalano — Инструмент квантования: ExLlamaV2 0.2.6
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: DavidCatalano
Теги: qwen2, chat, qwen, qwen2.5, finetune, english, conversational, en
Лайков: 7 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
