Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: NousResearch — Исходная модель: Nous Hermes 2 Mixtral 8X7B DPO. Этот репозиторий содержит файлы моделей AWQ для Nous Hermes 2 Mixtral 8X7B DPO от NousResearch. Эти файлы были квантованы с использованием оборудования, любезно предоставленного Massed Compute. Для вывода AutoAWQ установите AutoAWQ 0.1.8 или более позднюю версию. Поддержка через Transformers также доступна, но в настоящее время требуется установка Transformers с Github: pip3 install git+https://github.com/huggingface/transformers.git TGI: я тестировал версию 1.3.3, и она нормально загрузила модель, но мне не удалось получить какие-либо выходные данные. Требуется дальнейшее тестирование/отладка. (Дайте мне знать, если он у вас заработает!) AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким весом, в настоящее время поддерживающий 4-битное квантование. По сравнению с GPTQ он обеспечивает более быстрый вывод на основе преобразователей с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. Модели AWQ в настоящее время поддерживаются в Linux и Windows только с графическими процессорами NVidia. Пользователи macOS: пожалуйста, используйте…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: mixtral, Mixtral, instruct, finetune, chatml, DPO, RLHF, gpt4
Лайков: 22 | Загрузок: 95
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
