Чат-бот, лицензированный Apache-2, обучался на огромном наборе интерактивных помощников, включая текстовые задачи, многоходовые диалоги, код, стихи, песни и рассказы. — Разработано: Nomic AI — Тип модели: точно настроенная модель Falcon 7B на данных взаимодействия в стиле помощника — Язык(и) (NLP): английский — Лицензия: Apache-2 — Точная настройка на основе модели [необязательно]: Falcon — Репозиторий: https://github.com/nomic-ai/gpt4all — Репозиторий базовой модели: https://huggingface.co/tiiuae/falcon-7b — Демо [необязательно]: https://gpt4all.io/ Обучение на кластере DGX с 8 графическими процессорами A100 по 80 ГБ в течение примерно 12 часов. Используя Deepspeed + Accelerate, мы используем глобальный размер пакета 256 со скоростью обучения 2e-5. Более подробную информацию можно найти в репо.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nomic-ai
Теги: RefinedWebModel, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 54 | Загрузок: 118
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
