Модель специалиста по RP/сценариям, полнопараметрическая точная настройка Qwen2.5-32B на смеси синтетических и естественных данных. Он использует смесь данных Celeste 70B 0,1, значительно расширяя ее для улучшения универсальности, креативности и «ароматности» получаемой модели. Примечания к версии 0.1: дополнительный цикл очистки наборов данных, новые подмножества 4o-WritingPrompts и Charcards, выбор из них самых разнообразных образцов, а также добавлено небольшое подмножество SystemChat2.0 для улучшения следования инструкциям и немного увеличенной длины последовательности. Кроме того, исправлена ошибка конфигурации обучения из 32B 0.0, слои Layernorm на этот раз остаются замороженными. Их размораживание по какой-то причине привело к появлению смещения положительности в 32B 0.0. Формат запроса — ChatML. Рекомендуемые значения сэмплера: Температура: 1 Min-P: 0,05 Top-A: 0,2 Штраф за повторение: 1,03 Рекомендуемые пресеты SillyTavern (через CalamitousFelicitousness): Данные обучения: смесь данных Celeste 70B 0,1 минус подмножество Opus Instruct. Подробности смотрите на карточке этой модели. Набор данных OpusInstruct25k Каломазе, отфильтрованный на предмет отказов. Подмножество (1 тыс. строк) ChatGPT-4o-WritingPrompts от Gryphe. Подмножество (2 тыс. строк) Sonnet3.5-Charcards-Roleplay от Gryphe Synthstruct и SynthRP…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: EVA-UNIT-01
Теги: qwen2, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 15 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
