Модель представляет собой версию GGUF инструкции rinna/nekomata-14b. Его можно использовать с llama.cpp для облегчения вывода. Квантование этой модели может вызвать проблемы со стабильностью в GPTQ, AWQ и GGUF q40. Мы рекомендуем GGUF q4KM** для 4-битного квантования. Подробную информацию об архитектуре модели и данных см. в инструкции rinna/nekomata-14b. Пожалуйста, обратитесь к rinna/nekomata-14b для получения подробной информации о токенизации.
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: rinna
Теги: gguf, qwen, ja, en
Лайков: 12 | Загрузок: 39
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
