Метарм 13b LLaMA, настроенный на обучение и ориентированный на написание художественной литературы и разговорную речь. Преобразовано из весов XOR из выпуска PygmalionAI https://huggingface.co/PygmalionAI/metharme-13b. Metharme 13b — это модель инструкций, основанная на LLaMA-13b от Meta. Это эксперимент, целью которого является попытка получить модель, которую можно было бы использовать для разговора, ролевой игры и написания рассказов, но которой можно было бы управлять с помощью естественного языка, как и другими моделями обучения. Примеры см. в разделе подсказок ниже. Его обучение проводилось путем контролируемой точной настройки на основе обычных данных инструкций, а также ролевых игр, вымышленных историй и разговоров с прикрепленными синтетически сгенерированными инструкциями. Текущий Metharme-13b был обучен как LoRA, а затем объединен с базовой моделью для распространения. Он также был квантован до 8 бит с использованием библиотеки GPTQ, доступной здесь: https://github.com/0cc4m/GPTQ-for-LLaMa. Текущая версия модели была обучена на подсказках с использованием трех разных ролей, которые обозначаются следующими токенами: и . Подсказку можно использовать для скрытого ввода внеканальной информации, тогда как подсказку следует использовать для обозначения ввода пользователя. Токен должен…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: TehVenom
Теги: llama, text generation, instruct, en, text-generation-inference
Лайков: 9 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
