Чат Поддержка через Transformers также доступна, но в настоящее время требуется установка Transformers с Github: pip3 install git https://github.com/huggingface/transformers.git TGI: Я тестировал версию 1.3.3, и она загрузила модель отлично, но я не смог вернуть вывод. Требуется дальнейшее тестирование/отладка. (Сообщите, если получится!) AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким битовым весом, в настоящее время поддерживающий 4-битовое квантование. По сравнению с GPTQ, он предлагает более быстрый вывод на основе трансформаторов с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. Модели AWQ в настоящее время поддерживаются в Linux и Windows, только с графическими процессорами NVidia. для пользователей macOS: используйте модели GGUF. Модели AWQ…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: mixtral, not-for-all-audiences, nsfw, text-generation-inference, 4-bit, awq
Лайков: 3 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.