Falcon-7B-Chat-v0.1 — модель чат-бота для генерации диалогов. Он был создан путем тонкой настройки Falcon-7B на наборе данных OpenAssistant/oasst1. В этот репозиторий включены только адаптеры LoRA, полученные в результате тонкой настройки с помощью пакета peft 🤗. — Тип модели: только для декодера — Язык(и): английский — Базовая модель: Falcon-7B (лицензия: Apache 2.0) — Набор данных: OpenAssistant/oasst1 (лицензия: Apache 2.0) — Лицензия(и): Apache 2.0, унаследованная от «Базовой модели» и «Набора данных». Модель была точно настроена с 8-битной точностью с использованием 🤗 peft-адаптеров, преобразователей и биты и байты. Обучение основывалось на методе под названием «Адаптеры низкого ранга» (LoRA), а именно на варианте QLoRA. Запуск занял около 6,25 часов и был выполнен на рабочей станции с одним графическим процессором NVIDIA A100-SXM и 37 ГБ доступной памяти. Код и гиперпараметры, используемые для обучения модели, см. в прикрепленном блокноте Colab. Эта модель была точно настроена на деревьях диалогов из OpenAssistant/oasst1, и ее следует использовать только для данных аналогичного характера. Использование продукции без адекватной оценки рисков и мер по их снижению; любые варианты использования, которые можно считать безответственными или вредными. Эта модель в основном обучена на английских данных и не будет должным образом обобщать…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: dfurman
Теги: peft
Лайков: 43 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
