— Создатель модели: mistralai — Исходная модель: Mistral-7B-Instruct-v0.3 Модель большого языка (LLM) Mistral-7B-Instruct-v0.3 представляет собой усовершенствованную версию Mistral-7B-v0.3. Mistral-7B-v0.3 имеет следующие изменения по сравнению с Mistral-7B-v0.2 — Расширен словарь до 32768 — Поддерживает токенизатор v3 — Поддерживает вызов функций AWQ — это эффективный, точный и невероятно быстрый метод квантования с низкими битами, в настоящее время поддерживающий 4-битное квантование. По сравнению с GPTQ он обеспечивает более быстрый вывод на основе преобразователей с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. Модели AWQ в настоящее время поддерживаются в Linux и Windows только с графическими процессорами NVidia. Пользователи macOS: вместо этого используйте модели GGUF. — Генерация текста Webui — с использованием загрузчика: AutoAWQ — vLLM — версия 0.2.2 или новее для поддержки всех типов моделей. — Вывод генерации текста обнимающего лица (TGI) — Трансформеры версии 4.35.0 и более поздних версий из любого кода или клиента, поддерживающего Трансформеры — AutoAWQ — для использования из кода Python
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Языки программирования:
Rust
Задача: Генерация текста
Автор: solidrust
Теги: mistral, 4-bit, AWQ, autotrain_compatible, endpoints_compatible, conversational, text-generation-inference, awq
Лайков: 10 | Загрузок: 8,429
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
