Эта модель основана на Qwen/Qwen1.5-7B и подлежит лицензии tongyi-qianwen. Базовая модель имеет контекст длиной 32 КБ, я настроил ее с помощью входных данных длиной последовательности 8 КБ. ЮММВ. Liberated состоит из наборов данных с открытым исходным кодом, включая SystemChat — новый набор данных, который я создал, предназначенный для обучения модели соответствию системным подсказкам в ходе длительных многоходовых разговоров, даже с необычными или механическими системными подсказками. Это задачи, которых до сих пор не хватало моделям с открытым исходным кодом. Набор данных представляет собой 6000 синтетических разговоров, созданных с помощью Mistral-Medium и Dolphin-2.7-mixtral-8x7b. В набор данных не добавлено никаких ограничений или цензуры. Прежде чем предоставлять модель как услугу, рекомендуется реализовать собственный уровень выравнивания. Пожалуйста, прочитайте мой пост в блоге о моделях без цензуры. https://erichartford.com/uncensored-models Вы несете ответственность за любой контент, который вы создаете с использованием этой модели. Наслаждайтесь ответственно. Обучение 3 эпох на 8x H100 с использованием qLoRA, Deepspeed Zero-2 и Аксолотля заняло 3 дня. скорость обучения 2e-4. — Огромное спасибо Alibaba Cloud Qwen за обучение и публикацию весов базовой модели Qwen. — Спасибо Mistral за потрясающую модель Mistral-Medium, которую я использовал для создания…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: abacusai
Теги: qwen2, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 843
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
