Чат Поддержка через Transformers также доступна, но в настоящее время требуется установка Transformers с Github: pip3 install git https://github.com/huggingface/transformers.git TGI: Я тестировал версию 1.3.3, и она загрузила модель отлично, но я не смог вернуть вывод. Требуется дальнейшее тестирование/отладка. (Сообщите, если получится!) AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким битовым весом, в настоящее время поддерживающий 4-битовое квантование. По сравнению с GPTQ, он предлагает более быстрый вывод на основе трансформаторов с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. Модели AWQ в настоящее время поддерживаются в Linux и Windows, только с графическими процессорами NVidia. пользователи macOS: пожалуйста, используйте модели GGUF…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: mixtral, conversational, en, text-generation-inference, 4-bit, awq
Лайков: 3 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.