Это испанская модель BERTIN GPT-J-6B, доработанная на основе набора данных испанской альпаки. Для генерации мы можем использовать конвейер() или метод модели .generate(). Remember that the prompt needs a Spanish template: The dataset is a translation to Spanish of alpacadatacleaned.json (a clean version of the Alpaca dataset made at Stanford) using OpenAI’s gpt-3.5-turbo model. We translated using a full-sample prompt instead of per strings, which resulted in more coherent tuples of (instruction, input, output) and costed around $60.0. Этот набор данных нельзя использовать для создания моделей, которые каким-либо образом конкурируют с OpenAI. To fine-tune the BERTIN GPT-J-6B model we used the code available on BERTIN’s fork of mesh-transformer-jax, which provides code adapt an Alpaca dataset to finetune any GPT-J-6B model. Мы проводим тонкую настройку для трех эпох с использованием последовательности длиной 2048 на одном TPUv3-8 в течение 3 часов поверх BERTIN GPT-J-6B. — LLaMA — Стэнфордская альпака — BERTIN Alpaca — ChatGPT — Hugging Face Для обучения мы использовали виртуальную машину Google Cloud TPUv3-8. Для оценки вы можете использовать T4.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bertin-project
Теги: gptj, alpaca, ggml, es, endpoints_compatible
Лайков: 7 | Загрузок: 512
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
