Lawma 8B — это усовершенствованная версия Llama 3 8B Instruct по 260 задачам юридической классификации, полученным из баз данных Верховного суда и Апелляционного суда Сонгера. Lawma была доработана на более чем 500 тысячах примеров задач, всего 2 миллиарда токенов. В результате Lawma 8B превосходит GPT-4 в 95% задач юридической классификации, в среднем более чем на 17 пунктов точности. Более подробную информацию можно найти в нашем препринте arXiv и репозитории GitHub. Мы сообщаем о средней точности классификации по 260 задачам юридической классификации, которые мы рассматриваем. Мы используем стандартную подсказку MMLU с несколькими вариантами ответов и оцениваем модели с нуля. Вы можете найти наш оценочный код здесь. Чем полезны модели Лавмы? Мы рекомендуем использовать модели Lawma только для задач юридической классификации, для которых они были точно настроены. Модель была доработана для вопросов с несколькими вариантами ответов, а не для общих инструкций. Таким образом, модель выводит только буквы с множественным выбором (например, A, B, C и т. д.) или цифры. Главный вывод нашей статьи заключается в том, что специализация моделей приводит к значительному улучшению производительности. Поэтому мы настоятельно рекомендуем специалистам-практикам дополнительно доработать Lawma для конкретных задач, для которых будут использоваться модели. Относительно…
Модальности:
Генерация текста
Области применения:
Диалог / чат Юриспруденция
Задача: Генерация текста
Автор: ricdomolm
Теги: llama, legal, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 16 | Загрузок: 504
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
