Чат-бот, лицензированный Apache-2, обучался на огромном наборе интерактивных помощников, включая текстовые задачи, многоходовые диалоги, код, стихи, песни и рассказы. — Разработано: Nomic AI — Тип модели: точно настроенная модель GPT-J для данных взаимодействия в стиле помощника — Язык(и) (NLP): английский — Лицензия: Apache-2 — Точная настройка на основе модели [необязательно]: GPT-J — Репозиторий: https://github.com/nomic-ai/gpt4all — Репозиторий базовой модели: https://github.com/kingoflolz/mesh-transformer-jax — Paper [необязательно]: GPT4All-J: лицензированный чат-бот в стиле помощника Apache-2 — демонстрация [необязательно]: https://gpt4all.io/ Обучение на кластере DGX с 8 графическими процессорами A100 по 80 ГБ в течение примерно 12 часов. Используя Deepspeed + Accelerate, мы используем глобальный размер пакета 32 со скоростью обучения 2e-5 с использованием LoRA. Более подробную информацию можно найти в репо.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nomic-ai
Теги: en
Лайков: 18 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
