Эта модель представляет собой доработанную версию mistralai/Mistral-7B-v0.1 в наборе данных PIPPA. На оценочном наборе он достигает следующих результатов: — Потеря: 1,3494 8-битной лоры, обученной на наборе данных PygmalionAI/PIPPA с использованием аксолотля. PIPPA состоит из чуть более 1 миллиона строк диалога, распределенных по 26 000 диалогов между пользователями популярного веб-сайта чат-ботов «Character.AI» и его большой языковой модели, полученной благодаря большим усилиям сообщества, продолжавшимся в течение нескольких месяцев. Подсчет показывает, что в наборе данных представлено более 1000 уникальных персонажей, имитирующих как реальных, так и вымышленных персонажей, что позволяет PIPPA и LLM адаптироваться к множеству различных областей ролевых игр. ⚠️ ВНИМАНИЕ: PIPPA содержит разговоры, темы и сценарии, которые можно считать «небезопасными для работы» (NSFW) и/или сильно тревожными по своему характеру. Модели, обученные исключительно с помощью PIPPA, могут иметь тенденцию генерировать выходные данные с рейтингом X. Вы были предупреждены. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0001 — trainbatchsize: 2 — evalbatchsize: 2 — начальное число: 42 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: cosine -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: DS-Archive
Теги: mistral, generated_from_trainer, not-for-all-audiences, endpoints_compatible, 8-bit, bitsandbytes
Лайков: 4 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
