Metharme 7B LLaMA, настроенная на обучение и ориентированная на написание художественной литературы и разговорную речь. В этой модели файлы XOR уже установлены «из коробки». Преобразовано из весов XOR из выпуска PygmalionAI https://huggingface.co/PygmalionAI/Metharme-7b. Он также был квантован до 4 бит с использованием библиотеки GPTQ, доступной здесь: https://github.com/0cc4m/GPTQ-for-LLaMa. Это лучшая оценка, которую я мог получить после перепробования многих комбинаций аргументов путем преобразования модели из bf16 в fp32, перед квантованием до 4 бит с —act-order в качестве единственного аргумента. — Wikitext 2: 6.2369050979614 — PTB-New: 47.5177230834960 — C4-New: 7.9044938087463 Это эксперимент, направленный на то, чтобы попытаться получить модель, которую можно использовать для разговора, ролевой игры и написания рассказов, но которой можно управлять с помощью естественного языка, как и другие модели обучения. Примеры см. в разделе подсказок ниже. Его обучение проводилось путем контролируемой точной настройки на основе обычных данных инструкций, а также ролевых игр, вымышленных историй и разговоров с прикрепленными синтетически сгенерированными инструкциями. Текущая версия модели обучена на подсказках с использованием трех разных ролей, которые обозначаются следующими токенами: , …
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: TehVenom
Теги: llama, text generation, instruct, en
Лайков: 4 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
