Эта модель обучена с помощью guanaco-lora с помощью lora + embedtokens + lmhead для обучения. Набор данных взят из очищенных альпаки и гуанако. Благодаря обученной вставке и головке модель лучше работает на китайском и японском языках, чем оригинальная LLaMA, а также имеет подсказки на основе инструкций. Вы можете использовать эту модель более легко. Поскольку эта модель обучена на наборе данных гуанако, вы также можете использовать ее в качестве чат-бота. просто используйте этот формат: Советы: я только что удалил первую строку исходного приглашения, чтобы уменьшить потребление токенов, пожалуйста, рассмотрите возможность удаления ее, если вы хотите использовать эту модель. Основные различия: модель обучена на bf16, а не на 8-битном ctx. Длина обрезки ctx увеличена до 1024. Используйте больший набор данных (последний guanaco + alpaca cleand = 540 тыс. записей), используйте больший размер пакета (64-> 128). И поскольку данные поезда содержат больше данных на основе чата. Эта модель больше подходит для использования чат-ботов. Вы можете попробовать эту модель с этим колабом. Или используя файлgener.py в guanaco-lora, все примеры генерируются guanaco-lora. Если вы хотите использовать модель lora из guanaco-7b-leh-v2-adapter/, не забудьте отключить loadin8bit или вручную объединить ее с моделью 7B! температура: 0,5–0,7 верхнее p: 0,65–1,0 верхнее k: 30–50 штраф за повторение: 1,03–1,17 2×3090 с…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: KBlueLeaf
Теги: llama, guanaco, alpaca, lora, finetune, en, zh, ja
Лайков: 38 | Загрузок: 1,282
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
