Эта модель была доработана на русском языке с использованием общедоступного набора данных SFT и DPO и обеспечивает превосходную производительность в понимании, создании и взаимодействии на русском языке по сравнению с исходной версией Llama 3 70B Instruct. Llama3-70B-EnSecAI-Ru-Chat превосходит оригинальную Llama-3-70B-Instruct в бенчмарке MERA на 2,4% (57,0 против 54,6). Более того, он превосходит все остальные русскоязычные модели, присутствующие в этом бенчмарке. Категория Бенчмарк Метрика МТС AI Чат Средний GigaChat-Pro Llama 3 70B Instruct Llama 3 70B EnSecAI World Knowledge CheGeKa F1 / EM 0.05 / 0.022 0.104 / 0 0.071 / 0 0.305 / 0.231 ruOpenBookQA Сред. F1/акк 0,813/0,813 0,873/0,872 0,939/0,94 0,932/0,932 ruWorldTree Avg. F1 / по 0,872 / 0,872 0,939 / 0,939 0,973 / 0,973 0,986 / 0,986 Рассуждение MultiQ F1-оценка/EM 0,247 / 0,171 0,369 / 0,247 0,566 / 0,414 0,541 / 0,421 ruMMLU акк 0,704 0,816 0,856 0,847 ruTiE акк 0,674 0,791 0,8 0,827 RWSD акк 0,665 0,585 0,623 0,676 Common Sense PARus акк 0,884 0,884 0,918 0,926 Math MathLogicQA acc 0,589 0,467 0,581 0,571 ruModAr Acc 0,949 0,866 0,736 0,708 ruMultiAr Acc 0,337 0,273 0,349 0,357 …
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ensec
Теги: llama, conversational, ru, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
