Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа LLM компании TheBloke щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: Intellligent Software Engineering (iSE — Исходная модель: Magicoder S DS 6.7B. Этот репозиторий содержит файлы моделей AWQ для Intelligent Software Engineering (iSE’s Magicoder S DS 6.7B). Эти файлы были квантованы с использованием аппаратного обеспечения, любезно предоставленного Massed. Compute — это эффективный, точный и невероятно быстрый метод квантования с низким битом, в настоящее время поддерживающий 4-битное квантование. По сравнению с GPTQ он предлагает более быстрый вывод на основе преобразователей с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. Модели AWQ в настоящее время поддерживаются только в Linux и Windows, только для пользователей MacOS: вместо этого используйте модели GGUF — Text Generation Webui — с использованием Loader: AutoAWQ. vLLM — версия 0.2.2 или более поздней версии для поддержки всех типов моделей — Вывод генерации текста обнимающего лица (TGI) — Трансформаторы версии 4.35.0 и более поздних версий из любого кода или клиента, поддерживающего Трансформаторы — AutoAWQ — для использования из моделей AWQ кода Python для моделей вывода GPTQ для вывода на основе графического процессора,…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text-generation-inference, 4-bit, awq
Лайков: 9 | Загрузок: 79
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
