Другая экспериментальная модель, использующая в основном синтетические данные, сгенерированные airoboros. По сути, это небольшая «исправленная» ветка airoboros-c34b-2.2 с обновлениями, в первую очередь: — повторно сгенерированные письменные ответы — более длинные контекстные блоки — удаление данных «rp» — (менее агрессивная) децензура — 5 эпох вместо 3. Это модель довольно общего назначения, но она в значительной степени ориентирована на следование инструкциям, а не на случайный чат / ролевую игру. Огромное спасибо ребятам из a16z за оплату расходов, связанных с созданием моделей и сопутствующих инструментов! Системная подсказка по умолчанию («Чат.») использовалась для большинства подсказок, однако она также включала широкую выборку ответов с другими подсказками, особенно в «stylized_response», «rp», «gtkm» и т. д. И сценарий чата, который не требует ПОЛЬЗОВАТЕЛЯ/ПОМОЩНИКА (но должен использовать критерии остановки, чтобы модель не могла говорить от вашего имени). Я настоятельно рекомендую добавить критерии остановки/остановку раннего вывода на «USER:» и/или любые имена, которые вы указываете в системном приглашении. https://wandb.ai/jondurbin/airoboros-c34b-2.2.1/runs/07b08z7m?workspace=user-jondurbin Показанные здесь подсказки представляют собой просто текст, который будет включен после USER: и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jondurbin
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 896
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
