Это модель норвежского букмола NB GPT-J-6B, точно настроенная на наборе данных NorPaca. Для генерации мы можем использовать конвейер() или метод модели .generate(). Помните, что для запроса требуется норвежский шаблон: набор данных представляет собой перевод на норвежский букмол файла alpacagpt4data.json, чистой версии набора данных Alpaca, созданного в Стэнфорде, но сгенерированного с помощью GPT4. Этот набор данных нельзя использовать для создания моделей, которые каким-либо образом конкурируют с OpenAI. Для точной настройки модели NB GPT-J-6B мы использовали код, доступный в ответвлении Mesh-transformer-jax от NB, который обеспечивает адаптацию кода набора данных Alpaca для точной настройки любой модели GPT-J-6B. Мы проводим тонкую настройку для трех эпох с использованием последовательности длиной 2048 на одном TPUv3-8 в течение 3 часов поверх NB GPT-J-6B. — Стэнфордская альпака — Норвежская альпака — ChatGPT — Обнимающее лицо Для обучения мы использовали виртуальную машину Google Cloud TPUv3-8. Для оценки вы можете использовать T4.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: NbAiLab
Теги: gptj, alpaca, conversational, no, nb, endpoints_compatible
Лайков: 6 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
