Другая экспериментальная модель, использующая в основном синтетические данные, сгенерированные airoboros. Базовая модель jamba-v0.1 предположительно имеет длину контекста 256 тыс., но эта точная настройка была выполнена с 8192, поэтому все, что выходит за ее пределы, скорее всего, будет иметь неопределенные результаты. Модель, построенная на наборе данных airoboros-3.2, который содержит больше многооборотных данных, «токсичных» инструкций и т. д. — https://huggingface.co/datasets/bluemoon-fandom-1-1-rp-cleaned — https://huggingface.co/datasets/boolq — https://huggingface.co/datasets/jondurbin/gutenberg-dpo-v0.1 — https://huggingface.co/datasets/LDJnr/Capybara — https://huggingface.co/datasets/jondurbin/cinematika-v0.1 — https://huggingface.co/datasets/glaiveai/glaive-function-calling-v2 — https://huggingface.co/datasets/grimulkan/LimaRP-augmented — https://huggingface.co/datasets/piqa — https://huggingface.co/datasets/Vezora/Tested-22k-Python-Alpaca — https://huggingface.co/datasets/mattpscott/airoboros-summarization — https://huggingface.co/datasets/unalignment/токсичный-dpo-v0.2 Шаблон приглашения включен в токенизатор config и может использовать метод applychattemplate токенизатора Huggingface, например: Под послушным я имею в виду, что модель была обучена игнорировать то, что, по ее мнению, она знает, и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: jondurbin
Теги: jamba, conversational, custom_code, endpoints_compatible
Лайков: 6 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
