Эта модель представляет собой неофициальную тренировку Yi-34B-Llama на наборе данных LimaRP v3 от лимонилии. Здесь не предусмотрен этап предварительного обучения с использованием историй. Модель Yi-34B-Llama представляет собой модифицированную версию 01-ai/Yi-34B с ключами, переименованными в соответствии с теми, которые используются в моделях Llama, что устраняет необходимость в удаленном коде и обеспечивает совместимость с существующими хранилищами обучения и вывода. Архитектурно это похоже на модель Llama 2 34B с размером расширенного словаря 64000. В оценочном наборе достигаются следующие результаты: — Потеря: 1,9729. Для получения более подробной информации о LimaRP см. страницу модели для ранее выпущенной версии v2 для Llama-2. Большинство описанных там деталей применимо и к этой версии. Вообще говоря, LimaRP — это новая модель ролевого чата, ориентированная на длинные формы, предназначенная для воспроизведения опыта ролевой игры один на один на интернет-форумах. Краткая форма RP в стиле IRC/Discord (также известная как «формат Markdown») пока не поддерживается. Модель не включает в себя настройку инструкций, а только вручную выбранные и слегка отредактированные диалоги RP с данными о персонажах и сценариях. Вдохновленная ранее названной предустановкой «Ролевая игра» в SillyTavern, в этой версии LimaRP можно добавить длину…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: DS-Archive
Теги: llama, generated_from_trainer, Yi, 8-bit, bitsandbytes
Лайков: 10 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
