Добро пожаловать в следующую версию моей серии моделей «Пантеон», в которой я стремлюсь представить целую коллекцию разнообразных персонажей, которых можно вызвать с помощью простой активационной фразы. Цель Пантеона двоякая: эти личности аналогичным образом улучшают общий опыт ролевой игры, помогая охватить личностные черты, акценты и манеры, которые в противном случае языковым моделям было бы трудно передать хорошо. Ваши отзывы пользователей очень важны для меня, поэтому не стесняйтесь говорить мне, является ли моя модель 1. ужасной, 2. потрясающей или 3. где-то посередине. С момента выхода Qwen 3 я пытался заставить работать тонкую настройку MoE. После бесчисленных разочаровывающих дней, большого количества взлома кода и т. д. и т. п. я наконец получил полную точную настройку с разумными значениями потерь. Я выбрал для этого базовую модель, так как мне не хотелось бороться с тренировкой модели рассуждения. Возможно, когда-нибудь я создам модель, которая будет использовать теги мышления для мыслей персонажа или что-то в этом роде. На этот раз рецепт был сосредоточен на объединении как можно большего количества источников данных, включая синтетические данные из Sonnet 3.5 + 3.7, ChatGPT 4o и Deepseek. Затем они прошли обширный конвейер переписывания, чтобы…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: Gryphe
Теги: qwen3_moe, instruct, finetune, chatml, axolotl, roleplay, conversational, en
Лайков: 26 | Загрузок: 137
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
