TheBloke/Norobara-ZLoss-8x7B-AWQ - Каталог нейросетей
Генерация текста

TheBloke/Norobara-ZLoss-8x7B-AWQ

Добавлено:
TheBloke/Norobara-ZLoss-8x7B-AWQ

Чат Поддержка через Transformers также доступна, но в настоящее время требуется установка Transformers с Github: pip3 install git https://github.com/huggingface/transformers.git TGI: Я тестировал версию 1.3.3, и она загрузила модель отлично, но я не смог вернуть вывод. Требуется дальнейшее тестирование/отладка. (Сообщите, если получится!) AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким битовым весом, в настоящее время поддерживающий 4-битовое квантование. По сравнению с GPTQ, он предлагает более быстрый вывод на основе трансформаторов с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. Модели AWQ в настоящее время поддерживаются в Linux и Windows, только с графическими процессорами NVidia. пользователи macOS: пожалуйста, используйте модели GGUF…

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: TheBloke
Теги: mixtral, conversational, en, text-generation-inference, 4-bit, awq
Лайков: 3  |  Загрузок: 13

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.