Модели серии Yi — это большие языковые модели, обученные с нуля разработчиками 01.AI. Первый общедоступный выпуск содержит две двуязычные (английский и китайский) базовые модели с размерами параметров 6B (Yi-6B) и 34B (Yi-34B). Оба они обучаются с длиной последовательности 4 КБ и могут быть увеличены до 32 КБ во время вывода. Yi-6B-200K и Yi-34B-200K — базовая модель с длиной контекста 200 КБ. — 🎯 6.11.2023: Базовая модель Yi-6B-200K и Yi-34B-200K с длиной контекста 200K. — 🎯 2.11.2023: Базовая модель Yi-6B и Yi-34B. При сравнительном анализе моделей с открытым исходным кодом мы заметили несоответствие между результатами, полученными в нашем конвейере, и результатами, представленными в общедоступных источниках (например, OpenCompass). Проведя более углубленное исследование этой разницы, мы обнаружили, что различные модели могут использовать разные подсказки, стратегии постобработки и методы выборки, что потенциально может привести к значительным различиям в результатах. Наша стратегия оперативной и постобработки остается в соответствии с исходным эталоном, а во время оценки используется жадное декодирование без какой-либо постобработки сгенерированного контента. Для оценок, о которых не сообщил…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LoneStriker
Теги: Yi, custom_code
Лайков: 6 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
