Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: Disco Research — Исходная модель: Discolm Mixtral 8X7B v2. К сожалению, после 10 часов количественного анализа с немалой стоимостью они на самом деле не работают. Я оставлю их на случай, если какое-либо решение появится в ближайшее время. Но на данный момент я получаю такие ошибки. Этот репозиторий содержит файлы моделей GPTQ для Discolm Mixtral 8X7B v2 от Disco Research. Это экспериментальный GPTQ Mixtral 7B 8Expert от MistralAI. Это квантование неофициальной реализации Mixtral 7B 8Experted, созданной и размещенной DiscoResearch по адресу: DiscoResearch/mixtral-7b-8expert. Для его использования требуются: * Последние версии Transformers, установленные с Github: обратите внимание, что я еще не тестировал модель самостоятельно, я обновлю, когда узнаю требования к VRAM. Предусмотрено несколько перестановок параметров GPTQ; Подробную информацию о предоставляемых опциях, их параметрах и программном обеспечении, использованном для их создания, см. ниже в разделе «Предоставленные файлы». Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. Оригинальный неквантованный диск Disco Research…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: mistral, conversational, custom_code, en, text-generation-inference, 4-bit, gptq
Лайков: 19 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
