Этот репозиторий содержит веса 4-битного адаптера LORA (низкого ранга) для модели longchat-7b-16k, точно настроенные на основе пользовательского набора данных домена поддержки Bitext. Метод контролируемой точной настройки (SFT) основан на этой статье qlora с использованием 🤗 peft-адаптеров, преобразователей и битов и байтов. Тип модели: longchat-7b-qlora-customer-support — это 4-битный адаптер LORA (низкого ранга), контролируемый и настроенный поверх модели longchat-7b-16k с набором данных домена поддержки клиентов Bitext. Лицензия: apache-2.0, унаследованная от базовой модели и набора данных. Потребление памяти графического процессора: ~6 ГБ потребления графического процессора в 4-битном режиме с полностью загруженными моделями (базовая + qlora). Согласно инструкции базовой модели, для правильной загрузки базовой модели необходим файл llmasensemonkey_patch.py. Этот файл уже включен в этот репозиторий.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mingkuan
Лайков: 6 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
