Это точно настроенная модель ламы 30b с использованием синтетических данных, сгенерированных airoboros. Экспериментальный набор инструкций в стиле RP с двумя категориями: rp и gtkm. rp включает в себя многораундовые чаты с эмоциями между различным количеством персонажей, определяемых карточками. gtkm — это способ протестировать более простую альтернативу призрачному вниманию. Сначала создается карта персонажа, затем создается несколько вопросов, чтобы задать модели (как персонажу), используя подсказку системы персонажей, а затем все остальное. в синтезированном в диалоге (одна системная подсказка, все ходы остаются в символах) — Экспериментальная поддержка более длинных и подробных письменных подсказок, а также генерации следующей главы — Я использовал новую точку входа cull-instructions в airoboros, чтобы сжать набор данных m2.0 до меньшего подмножества высококачественных инструкций (согласно gpt-4) — Данные обучения теперь также включают «stylized_response», в котором было 1500 примеров инструкций из различных категорий повторно сгенерирован с использованием карточек персонажей в качестве системных подсказок. — это должно позволить лучше придерживаться стиля/и т.д. указано в системной карточке — Тысячи новых поколений, с использованием некоторых обновлений, касающихся подсказок Флеша и т. д., чтобы стать длиннее/выше…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jondurbin
Теги: llama, custom_code, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 1,020
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
