Falcon-7B-Instruct — это модель причинного декодера с 7B параметрами, созданная TII на основе Falcon-7B и настроенная на смеси наборов данных чата и инструкций. Эта модель представляет собой 4-битную квантованную модель AWQ с размером группы 64. Для получения дополнительной информации о квантовании AWQ нажмите здесь. Эта модель была успешно протестирована на драйвере CUDA v530.30.02 и среде выполнения v11.7 с Python v3.10.11. Обратите внимание, что для AWQ требуются графические процессоры NVIDIA с вычислительными возможностями версии 8.0 или выше. Бумага скоро появится 😊. А пока вы можете использовать следующую информацию для цитирования: Модель была квантована с помощью техники AWQ. Если вы считаете AWQ полезным или актуальным для вашего исследования, пожалуйста, процитируйте статью:
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: abhinavkulkarni
Теги: RefinedWebModel, AWQ, custom_code, text-generation-inference
Лайков: 5 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
