Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: Mistral AI_ — Исходная модель: Mixtral 8X7B v0.1 Этот репозиторий содержит файлы моделей AWQ для Mixtral 8X7B v0.1 от Mistral AI_. Скоро появится поддержка через Transformers через этот PR: https://github.com/huggingface/transformers/pull/27950, который очень скоро должен быть объединен с основной частью Transformers. AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким весом, который в настоящее время поддерживает 4-битное квантование. По сравнению с GPTQ он обеспечивает более быстрый вывод на основе преобразователей с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. Модели AWQ в настоящее время поддерживаются в Linux и Windows только с графическими процессорами NVidia. Пользователи macOS: вместо этого используйте модели GGUF. Модели AWQ поддерживаются (обратите внимание, что еще не все из них могут поддерживать модели Mixtral): — Генерация текста Webui — использование загрузчика: AutoAWQ — vLLM — версия 0.2.2 или более поздняя для поддержки всех типов моделей. — Вывод генерации текста обнимающего лица (TGI) — Трансформеры версии 4.35.0 и более поздних версий из любого кода или клиента, который…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: mixtral, fr, it, de, es, en, text-generation-inference, 4-bit
Лайков: 11 | Загрузок: 384
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
