——-: | :——: | :——-: |:—————————: | Мы провели тщательную оценку модели Yuan2.0-M32 по ряду тестов, включая HumanEval, GSM8K, MMLU, Math и ARC-Challenge. Эти тесты предназначены для проверки навыков модели в ключевых областях, таких как понимание естественного языка, приобретение знаний, математические вычисления и рассуждения, а также генерация кода. Yuan2.0-M32 показал последовательное и значительное преимущество перед другими моделями, такими как Llama3-8B и Mistral-8×7B, превосходно справившись со всеми оцененными задачами. Примечательно, что его общие характеристики находятся на одном уровне с более мощной моделью Llama3-70B. Подробные результаты оценки представлены в следующей таблице. ARC-C*__: тест AI2 Reasoning Challenge (ARC) содержит более сложные части, требующие дальнейшего анализа. ————— | :—————: | :————: | :—————: | :—————: | :—————:|:—————:| Мы настоятельно рекомендуем использовать последнюю версию образов Docker Yuan2.0-M32. Вы можете запустить экземпляр контейнера Yuan 2.0 с помощью следующих команд Docker: Мы предоставили сценарий предварительной обработки данных. См. документацию…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: IEITYuan
Теги: yuan, custom_code
Лайков: 61 | Загрузок: 82
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
