При сравнительном анализе моделей с открытым исходным кодом мы заметили несоответствие между результатами, полученными в нашем конвейере, и результатами, представленными в общедоступных источниках (например, OpenCompass). Проведя более углубленное исследование этой разницы, мы обнаружили, что различные модели могут использовать разные подсказки, стратегии постобработки и методы выборки, что потенциально может привести к значительным различиям в результатах. Наша стратегия оперативной и постобработки остается в соответствии с исходным эталоном, а во время оценки используется жадное декодирование без какой-либо постобработки сгенерированного контента. Для оценок, о которых не сообщили первоначальные авторы (включая оценки, полученные с другими настройками), мы пытаемся получить результаты с помощью нашего конвейера. Чтобы тщательно оценить возможности модели, мы использовали методологию, изложенную в Llama2. В частности, мы включили PIQA, SIQA, HellaSwag, WinoGrande, ARC, OBQA и CSQA для оценки рассуждений, основанных на здравом смысле. SquAD, QuAC и BoolQ были включены для оценки понимания прочитанного. CSQA тестировался исключительно с использованием 7-кадровой установки, тогда как все остальные тесты проводились с 0-кадровой конфигурацией. Кроме того, мы представили…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: larryvrh
Теги: llama, zh, en, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 132
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
