Модели серии Yi — это большие языковые модели, обученные с нуля разработчиками на 01.AI. Первый публичный релиз содержит две двуязычные(английский/китайский) базовые модели с размерами параметров 6B(Yi-6B) и 34B(Yi-34B). Оба они обучены с длиной последовательности 4K и могут быть расширены до 32K во время вывода. Yi-6B-200K и Yi-34B-200K являются базовыми моделями с длиной контекста 200K. — 🎯 2023/11/06: Базовая модель Yi-6B-200K и Yi-34B-200K с длиной контекста 200K. 🎯 — 2023/11/02: Базовая модель Yi-6B и Yi-34B. При сравнении моделей с открытым исходным кодом мы заметили несоответствие между результатами, полученными нашим конвейером, и результатами, опубликованными в открытых источниках (например, OpenCompass). Проведя более глубокое исследование этой разницы, мы обнаружили, что различные модели могут использовать различные подсказки, стратегии постобработки и методы выборки, что потенциально может привести к значительным различиям в результатах. Наша стратегия быстрой и постобработки остается в соответствии с исходным эталоном, и жадное декодирование используется во время оценки без какой-либо постобработки сгенерированного контента. Для баллов, которые не были сообщены…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LoneStriker
Теги: Yi, custom_code
Лайков: 3 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
