Koto-Small-7B-IT — это настроенная по инструкциям версия Koto-Small-7B-PT, которая была обучена на MiMo-7B-Base для почти миллиарда токенов данных творческого письма. Эта модель предназначена для ролевых игр и инструктажа. При обучении с форматированием ChatML типичный ввод будет выглядеть так: Мы обнаружили, что лучше всего работают значения температуры 1,25 и min_p 0,05, но YMMV! — Большое спасибо компании Delta-Vector/Mango за предоставление вычислительных ресурсов, использованных для обучения этой модели. — Шипение для предварительной подготовки. — Pocketdoc/Anthracite для крутых наборов данных. — Хенсен чат. — Спасибо иллюстратору WataNare за рисунок, использованный в карточке модели! — Спасибо Curse за тестирование, идеи. — Спасибо Toasty за некоторые данные, идеи. — Спасибо всем остальным в Аллуре! Если вы хотите помочь в создании этой модели (RP SFT, дальнейший отжиг на данных более высокого качества и т. д.)… Как и раньше, она обучалась в течение 12 часов в течение более 2 эпох на узле 8xA100 DGX, с использованием расписания Ademamix и REX LR, для регуляризации использовалось отсечение с высокой степенью градации без WEIGHTDECAY, потому что это отстой.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Aurore-Reveil
Теги: qwen2, writing, creative-writing, roleplay, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 150
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
