— Создатель модели: Aether AI — Исходная модель: Cerebrum 1.0 8x7B В этом репозитории содержатся файлы современных квантованных моделей формата GGUF для Cerebrum 1.0 8x7B. Квантование выполнялось с помощью матрицы важности, которая была обучена для ~250 тыс. токенов (64 пакета по 4096 токенов) групп groups_merged.txt и wiki.train.raw, объединенных в конкатенацию. Эти квантованные файлы GGUFv3 совместимы с llama.cpp начиная с 27 февраля 2024 года, начиная с фиксации 0becb22. Они также совместимы со многими сторонними пользовательскими интерфейсами и библиотеками при условии, что они созданы с использованием последней версии llama.cpp. GGMLTYPEIQ1S — 1-битное квантование в суперблоках с применением матрицы важности, эффективно используя 1,56 бита на вес (bpw) GGMLTYPEIQ2XXS — 2-битное квантование в суперблоках с применением матрицы важности, эффективно используя 2,06 бита в секунду GGMLTYPEIQ2XS — 2-битное квантование в суперблоках с применением матрицы важности, эффективно используя 2,31 бит в секунду GGMLTYPEIQ2S — 2-битное квантование в суперблоках с применением матрицы важности, эффективное использование 2,5 бит в секунду GGMLTYPEIQ2M — 2-битное квантование в суперблоках с применением матрицы важности, эффективное использование 2,7 бит в секунду GGMLTYPEIQ3XXS — 3-битное квантование в суперблоках с…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: CISCai
Теги: gguf, en, endpoints_compatible, conversational
Лайков: 4 | Загрузок: 305
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
