Metharme 7B Настроенный на инструкцию LLaMA, предвзятый к написанию и разговору художественной литературы. > В настоящее время KoboldCPP не может остановить вывод при эмиссии токена EOS, что приводит к тому, что модель превращается в тарабарщину, > > Metharme 7B теперь фиксируется на ветке dev KoboldCPP, которая исправила проблему EOS. Убедитесь, что вы компилируете последнюю версию, она была исправлена только после выпуска этой модели; > > При запуске KoboldCPP вам нужно будет добавить флаг —unbantokens, чтобы эта модель вела себя правильно. В этих моделях файлы XOR предварительно применяются из коробки. Преобразованные из весов XOR из релиза PygmalionAI https://huggingface.co/PygmalionAI/Metharme-7b Он также был квантован до 4Bit — Q4_1 с использованием библиотеки GGML, доступной здесь: https://github.com/LostRuins/koboldcpp Это эксперимент, чтобы попытаться получить модель, которая может использоваться для разговора, ролевой игры и написания историй, но которая может управляться с использованием естественного языка, как и другие модели INSTRUCT. Примеры см. в разделе подсказок ниже. Он был обучен путем контролируемой тонкой настройки над смесью регулярных данных инструкций наряду с ролевой игрой, вымышленными историями и разговорами с синтетическими…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: TehVenom
Теги: text generation, instruct, en
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
