Одна эпоха донастройки с использованием набора данных SpicyBoros-3.1 от @jondurbin. 4,65 бит/слово должно поместиться на одном графическом процессоре 3090/4090, а для 5,0 бит/слово, 6,0 бит/слово и 8,0 бит/слово потребуется более одного графического процессора с 24 ГБ видеопамяти. Обратите внимание: возможно, вам придется снизить штраф за повторение до 1,0. Без этого изменения модель иногда, похоже, переходит в режим «тезауруса». Модели серии Yi — это большие языковые модели, обученные с нуля разработчиками из 01.AI. Первый публичный релиз содержит две базовые модели с размером параметров 6 млрд и 34 млрд. При сравнительном тестировании моделей с открытым исходным кодом мы заметили расхождение между результатами, полученными с помощью нашего пайплайна, и результатами, указанными в открытых источниках (например, OpenCampus). Проведя более углубленное исследование этой разницы, мы обнаружили, что различные модели могут использовать разные промпты, стратегии пост-обработки и методы выборки, что потенциально может привести к значительным различиям в результатах. Наша стратегия в отношении промптов и пост-обработки остается неизменной по сравнению с исходным бенчмарком, а во время оценки используется жадный алгоритм декодирования без какой-либо пост-обработки сгенерированного контента. Для оценок, которые не были указаны автором оригинала (включая оценки, указанные…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LoneStriker
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.