Эта модель обучена с помощью модифицированной альпака-лоры с lora + embedtokens + lmhead для обучения. Набор данных взят из альпака-лоры (очищенная версия альпаки) и гуанако. Благодаря обученной вставке и головке модель лучше работает на китайском и японском языках, чем оригинальная LLaMA, а также имеет подсказки на основе инструкций. Вы можете использовать эту модель более легко. Поскольку эта модель обучена на наборе данных гуанако, вы также можете использовать ее в качестве чат-бота. просто используйте этот формат: Советы: я только что удалил первую строку исходного приглашения, чтобы уменьшить потребление токенов, пожалуйста, рассмотрите возможность удаления ее, если вы хотите использовать эту модель. Вы можете попробовать эту модель с помощью этой совместной работы. И пример ниже также создан этим блокнотом Colab. Если вы хотите использовать модель lora из leh-weight/, не забудьте отключить loadin8bit или вручную объединить ее с моделью 7B! (если вы хотите получить «точный ответ», я порекомендую использовать какой-нибудь другой инструмент и подключить его к «системе»). Во-первых, я думаю, очевидно, что когда LLM плохо владеет каким-то языком и вы хотите за него побороться. Вам следует тренировать закладную и головную часть. Но вот вопрос: «А почему бы просто не родную тонкую настройку?» Если вы искали какую-нибудь модель альпаки или тренировочный предмет, вы можете заметить, что…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: KBlueLeaf
Теги: llama, guanaco, alpaca, lora, finetune, en, zh, ja
Лайков: 40 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
