Это модель wizardlm-7b-v1.0, доработанная с помощью QLoRA для ответов на подробные юридические вопросы на французском языке. Для донастройки модели мы используем набор данных Long-form Legal Question Answering (LLeQA). LLeQA — это французский набор данных для изучения поиска правовой информации и ответов на вопросы. Он состоит из корпуса знаний, включающего 27 941 законодательную статью, взятую из законодательства Бельгии, и 1868 юридических вопросов, заданных гражданами Бельгии и промаркированных опытными юристами с исчерпывающими ответами, основанными на соответствующих статьях из корпуса. Мы выполняем дообучение модели с помощью 4-битного метода QLoRA с эффективным размером пакета 8 для 10 эпох (т. е. 1,1 тыс. шагов) с использованием оптимизатора paged AdamW со стандартными параметрами импульса и постоянным графиком скорости обучения 2e-4. Мы используем NormalFloat4 с двойной квантизацией для базовых моделей и добавляем адаптеры LoRA на все линейные слои, устанавливая r=16, alpha=32, используя float16 в качестве типа данных для вычислений. Additionally, we perform NTK-aware scaling of RoPE to extend the context window to 4096 tokens. Training takes around 7.5 hours to complete on a single Tesla V100 GPU with 32GBs of memory. More details can be found in this paper and…
Модальности:
Генерация текста
Области применения:
Юриспруденция
Задача: Генерация текста
Автор: maastrichtlawtech
Теги: peft, legal, fr
Лайков: 2 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.