Модель специалиста по RP/написанию историй, полнопараметрическая точная настройка Llama-3.3-70B-Instruct на сочетании синтетических и естественных данных. Он использует смесь данных Celeste 70B 0,1, значительно расширяя ее для улучшения универсальности, креативности и «ароматности» получаемой модели. Эта модель была построена с использованием Llama от Meta. Линейное слияние DELLA версии 0.0 с невыпущенной контрольной точкой из другого запуска. Уменьшение переобучения, лучшее понимание и запоминание длительного контекста, меньше повторений, больше стабильности. Формат подсказки — Llama3. Рекомендуемые значения пробоотборника: Температура: 1 Мин-P: 0,05 Штраф за повторение: 1,03 Данные обучения: смесь данных Celeste 70B 0,1 минус подмножество Opus Instruct. Подробности смотрите на карточке этой модели. Набор данных OpusInstruct25k Каломазе, отфильтрованный на предмет отказов. Подмножество (1 тыс. строк) ChatGPT-4o-WritingPrompts от Gryphe. Подмножество (2 тыс. строк) наборов данных Sonnet3.5-Charcards-Roleplay от Gryphe Synthstruct и SynthRP от Epiculous. Подмножество из Dolphin-2.9.3, включая отфильтрованную версию not_samantha и небольшое подмножество systemchat. Модель создали Кирм, Аури и Кахвай. Особая благодарность: Кахвею за его работу по фильтрации наборов данных. Gryphe, Lemmy, Kalomaze, Nopm, Epiculous и CognitiveComputations…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: EVA-UNIT-01
Теги: llama, mergekit, merge, conversational, text-generation-inference, endpoints_compatible
Лайков: 20 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
