TheBloke/openbuddy-mixtral-7bx8-v16.3-32k-AWQ - Каталог нейросетей
Генерация текста

TheBloke/openbuddy-mixtral-7bx8-v16.3-32k-AWQ

Добавлено:
TheBloke/openbuddy-mixtral-7bx8-v16.3-32k-AWQ

Чат Поддержка через Transformers также доступна, но в настоящее время требуется установка Transformers с Github: pip3 install git https://github.com/huggingface/transformers.git TGI: Я тестировал версию 1.3.3, и она загрузила модель отлично, но я не смог вернуть вывод. Требуется дальнейшее тестирование/отладка. (Сообщите, если получится!) AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким битовым весом, в настоящее время поддерживающий 4-битовое квантование. По сравнению с GPTQ, он предлагает более быстрый вывод на основе трансформаторов с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. Модели AWQ в настоящее время поддерживаются в Linux и Windows, только с графическими процессорами NVidia. пользователи macOS: пожалуйста, используйте…

Модальности:
Генерация текста


Задача: Генерация текста
Автор: TheBloke
Теги: mixtral, zh, en, fr, de, ja, ko, it
Лайков: 3  |  Загрузок: 24

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.