Еще одна экспериментальная модель, использующая в основном синтетические данные, полученные с помощью airoboros. В качестве базовой модели используется yi-34b-200k. Хотя базовая модель поддерживает размер контекста 200 000, эта модель была настроена на размер ctx в 8 000 токенов, поэтому все, что выходит за его пределы, скорее всего, будет иметь сомнительные результаты. Модель, построенная на наборе данных airoboros-3.2, который содержит больше многооборотных данных, «токсичных» инструкций и т. д. Кроме того, на этот раз я решил включить несколько сторонних наборов данных, в том числе: — https://huggingface.co/datasets/bluemoon-fandom-1-1-rp-cleaned — https://huggingface.co/datasets/boolq — https://huggingface.co/datasets/jondurbin/gutenberg-dpo-v0.1 — https://huggingface.co/datasets/LDJnr/Capybara — https://huggingface.co/datasets/jondurbin/cinematika-v0.1 — https://huggingface.co/datasets/glaiveai/glaive-function-calling-v2 — https://huggingface.co/datasets/grimulkan/LimaRP-augmented — https://huggingface.co/datasets/piqa — https://huggingface.co/datasets/Vezora/Tested-22k-Python-Alpaca — https://huggingface.co/datasets/mattpscott/airoboros-summarization — https://huggingface.co/datasets/unalignment/ Toxic-dpo-v0.2 Шаблон приглашения включен в конфигурацию токенизатора и может использовать…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: jondurbin
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 21 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
