— Создатель модели: FreedomIntelligence. — Исходная модель: Чат AceGPT 7B. Этот репозиторий содержит файлы моделей AWQ для чата AceGPT 7B компании FreedomIntelligence. Пытаясь сделать арабский LLms доступным для потребителей с простыми графическими процессорами, я квантовал две важные модели: — AceGPT 13B Chat AWQ — AceGPT 7B Chat AWQ (Мы здесь) AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким весом, в настоящее время поддерживающий 4-битное квантование. По сравнению с GPTQ он обеспечивает более быстрый вывод на основе преобразователей с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. — Генерация текста Webui — с использованием загрузчика: AutoAWQ — vLLM — Только модели Llama и Mistral — Вывод генерации текста обнимающего лица (TGI) — Трансформеры версии 4.35.0 и более поздних версий, из любого кода или клиента, который поддерживает Трансформеры — AutoAWQ — для использования из кода Python — Требуется: Трансформеры 4.35.0 или новее. — Требуется: AutoAWQ 0.1.6 или новее. Обратите внимание: если вы используете PyTorch 2.0.1, приведенная выше команда AutoAWQ автоматически обновит вас до PyTorch 2.1.0. Если вы используете CUDA 11.8 и хотите продолжить использование PyTorch 2.0.1, вместо этого запустите следующую команду: Если у вас возникли проблемы с установкой AutoAWQ с помощью…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: MohamedRashad
Теги: llama, en, ar, text-generation-inference, 4-bit, awq
Лайков: 5 | Загрузок: 31
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
