jondurbin/airoboros-33b-3.1.2 - Каталог нейросетей
Генерация текста

jondurbin/airoboros-33b-3.1.2

Добавлено:

Еще одна экспериментальная модель, использующая в основном синтетические данные, сгенерированные airoboros. В этой модели используется формат чата llama-2, а не пользователь/ассистент в стиле vicuna! Это существенное изменение, хотя большинство систем вывода поддерживают шаблоны чата llama-2. В качестве базовой модели используется llama-30b-hf, которая предназначена исключительно для некоммерческого/исследовательского использования! Во время донастройки я использовал rope_scaling, чтобы увеличить ctx до 4096. Модель, построенная на наборе данных airoboros-3.1, который является продолжением набора данных airoboros-3.0 со следующими дополнительными функциями: Извлечение информации из журналов (например, получение списка путей/IP-адресов и т. д. из журналов Apache). Анонимизация, например удаление имен, IP-адресов и/или дат из текста. Самоанализ в чате — многоходовые чаты, в которые вставляются случайные вопросы о описаниях персонажа, обстановке в чате или ранее сказанных вещах, чтобы убедиться, что модель использует системный промпт и/или историю чата. Многоэтапные инструкции с подтверждением (см. ниже) * Данные для снятия цензуры (не опубликованы) Это модель довольно общего назначения, но она в значительной степени ориентирована на выполнение инструкций, а не на обычный чат/ролевую игру. Огромное спасибо сотрудникам a16z за то, что взяли на себя расходы…

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: jondurbin
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 2  |  Загрузок: 48

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.