Это объединение Dolly LoRA с основной моделью GPT-J-6B, позволяющее пользователям использовать Dolly, не беспокоясь о зависимостях PEFT. Мы надеемся, что он будет таким же похожим на Альпаку, но без необходимости доступа к LLaMA. Производительность хорошая, но не такая хорошая, как у оригинальной Alpaca, обученной на базовой модели LLaMa. В основном это связано с тем, что модель LLaMa 7B предварительно обучается на токенах 1T, а GPT-J-6B обучается на токенах 300-400M. — LoRA изначально обучен samwit, в: https://huggingface.co/samwit/dolly-lora — Набор данных представляет собой очищенную версию набора данных Alpaca — https://github.com/gururise/AlpacaDataCleaned — GPT-J-6b: https://huggingface.co/EleutherAI/gpt-j-6B — вот Colab https://colab.research.google.com/drive/1O1JjyGaC300BgSJoUbru6LuWAzRzEqCz?usp=sharing
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TehVenom
Теги: gptj, endpoints_compatible
Лайков: 13 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
