Настроенная по инструкции версия полностью обученной модели Open LLama 13B. Эта модель представляет собой 4-разрядную 128-групповую квантованную модель AWQ. Для получения дополнительной информации о квантовании AWQ, пожалуйста, нажмите здесь. Эта модель была успешно протестирована на драйвере CUDA v530.30.02 и среде выполнения v11.7 с Python v3.10.11. Обратите внимание, что для AWQ требуются графические процессоры NVIDIA с вычислительной мощностью 8,0 или выше. Для пользователей Docker образ nvcr.io/nvidia/pytorch:23.06-py3 является средой выполнения v12.1, но в остальном идентичен конфигурации выше, а также проверен на работоспособность. Если вы нашли OpenLLaMA полезным в своих исследованиях или приложениях, пожалуйста, укажите, используя следующий BibTeX: Модель была квантована с помощью метода AWQ. Если вы считаете, что AWQ полезен или имеет отношение к вашему исследованию, пожалуйста, процитируйте документ:
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: abhinavkulkarni
Теги: llama, AWQ, en, text-generation-inference
Лайков: 3 | Загрузок: 24
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
