Chronos Gold 12B 1.0 — это уникальная модель, которая применима к таким предметным областям, как общие функции чат-ботов, ролевые игры и написание историй. Было замечено, что модель записывает до 2250 токенов за одну последовательность. Модель была обучена на длине последовательности 16384 (16 КБ) и по-прежнему сохранит кажущуюся длину контекста 128 КБ из Mistral-Nemo, хотя со временем она ухудшается, как и обычный Nemo на основе теста RULER. В результате рекомендуется поддерживать максимальную длину последовательности на уровне 16 384, иначе вы столкнетесь с ухудшением производительности. Базовая модель — Mistralai/Mistral-Nemo-Base-2407, которая была сильно модифицирована для создания более целостной модели, сравнимой с гораздо более крупными моделями. Chronos Gold 12B-1.0 воссоздает уникальность оригинального Chronos со значительно улучшенным быстрым соблюдением (следованием), связностью, современным набором данных, а также поддержкой большинства форматов «карточек персонажей» в таких приложениях, как SillyTavern. Как и мои предыдущие модели, она прошла итеративный и объективный процесс слияния, а затем была доработана на специально подобранном для нее наборе данных. Подробности модели на данный момент не разглашаются из-за принадлежности набора данных. Эта модель использует ChatML — ниже…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: elinas
Теги: mistral, general-purpose, roleplay, storywriting, merge, finetune, conversational, model-index
Лайков: 53 | Загрузок: 401
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
