Адаптер LoRA, который обучает модель KoAlpaca-Polyglot-12.8B отвечать на повседневные вопросы, связанные с корейским законодательством. Это модель, выпущенная в рамках проекта LAW-Alpaca вместе с набором данных easylawkr 4 июля 2023 года**. — Автор: Дживу Крис Юнг (@jiwoochris); LAW-Alpaca был командным проектом, в рамках которого я создал набор данных, выполнил тонкую настройку и веду репозиторий. — Базовая модель: beomi/KoAlpaca-Polyglot-12.8B (архитектура GPT-NeoX, сама по себе представляющая собой модель EleutherAI/polyglot-ko-12.8b, настроенную на выполнение инструкций). — Данные для обучения: jiwoochris/easylawkr, 2195 пар «вопрос — ответ». — Метод:** QLoRA (4-битная основа NF4, ранг LoRA — 8). Набор данных преобразует 2195 публикаций с вопросами и ответами из раздела «100 вопросов, 100 ответов». Политика сайта в отношении авторских прав разрешает бесплатное использование, включая коммерческое. Позже набор данных был использован в качестве данных для обучения и оценки в области права в Chamain (Ян, Ли и Чо), опубликованном на семинаре NLP4ConvAI в рамках конференции ACL 2024 (aclanthology.org/2024.nlp4convai-1.7). — r: 8, loraalpha: 32, loradropout: 0,05 — targetmodules:…
Модальности:
Генерация текста
Области применения:
Юриспруденция
Задача: Генерация текста
Автор: jiwoochris
Теги: peft, lora, qlora, legal, korean, koalpaca, polyglot-ko, ko
Лайков: 2 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
