TheBloke/FlatDolphinMaid-8x7B-AWQ - Каталог нейросетей
Генерация текста

TheBloke/FlatDolphinMaid-8x7B-AWQ

Добавлено:
TheBloke/FlatDolphinMaid-8x7B-AWQ

Чат Поддержка через Transformers также доступна, но в настоящее время требуется установка Transformers с Github: pip3 install git https://github.com/huggingface/transformers.git TGI: Я тестировал версию 1.3.3, и она загрузила модель отлично, но я не смог вернуть вывод. Требуется дальнейшее тестирование/отладка. (Сообщите, если получится!) AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким битовым весом, в настоящее время поддерживающий 4-битовое квантование. По сравнению с GPTQ, он предлагает более быстрый вывод на основе трансформаторов с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. Модели AWQ в настоящее время поддерживаются в Linux и Windows, только с графическими процессорами NVidia. для пользователей macOS: используйте модели GGUF. Модели AWQ…

Модальности:
Генерация текста


Задача: Генерация текста
Автор: TheBloke
Теги: mixtral, not-for-all-audiences, nsfw, text-generation-inference, 4-bit, awq
Лайков: 3  |  Загрузок: 11

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.