Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: Тим — Оригинальная модель: Laser Dolphin Mixtral 2X7B DPO. Этот репозиторий содержит файлы моделей AWQ для Tim’s Laser Dolphin Mixtral 2X7B DPO. Эти файлы были квантованы с использованием оборудования, любезно предоставленного Massed Compute. Для вывода AutoAWQ установите AutoAWQ 0.1.8 или более позднюю версию. Поддержка через Transformers также доступна, но в настоящее время требуется установка Transformers с Github: pip3 install git+https://github.com/huggingface/transformers.git TGI: я тестировал версию 1.3.3, и она нормально загрузила модель, но мне не удалось получить какие-либо выходные данные. Требуется дальнейшее тестирование/отладка. (Дайте мне знать, если он у вас заработает!) AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким весом, в настоящее время поддерживающий 4-битное квантование. По сравнению с GPTQ он обеспечивает более быстрый вывод на основе преобразователей с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. Модели AWQ в настоящее время поддерживаются в Linux и Windows только с графическими процессорами NVidia. Пользователи macOS: используйте модели GGUF…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: mixtral, text-generation-inference, 4-bit, awq
Лайков: 9 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
