Это новый «Mistral-Small-Instruct 2409 22B», максимальный контекст 131 000 (128 КБ) с набором данных NEO IMATRIX. Эта модель пуленепробиваемая и работает со всеми параметрами, включая настройки температуры от 0 до 5. Это необычайно сжатая модель с уровнем PPL 4,8611 +/- 0,06701 (Q4KM). Для повышения креативности к нему был применен набор данных NEO IMATRIX V2. Представлены 4 примера, демонстрирующие различия при TEMP=0 и TEMP=1 как для неиматричной версии, так и для NEO imatrix-версии. Пожалуйста, обратитесь к оригинальной карточке модели этой модели от MistralAI для получения дополнительной информации о работе. [ https://huggingface.co/mistralai/Mistral-Small-Instruct-2409 ] Кванты Imatrix лучше всего работают на IQ3 и IQ4, затем на Q4, ниже на Q5 и снижаются на Q6. Рекомендую: IQ4_XS для максимального эффекта изображения и лучшего «количества битов». Благодаря большому количеству параметров этой модели даже кванты IQ2 будут работать очень хорошо. Q8 сюда не загружен, поскольку Imatrix не влияет на этот квант. Следующее можно использовать вместо «системного приглашения» или «системной роли» для дальнейшего улучшения модели. Его также можно использовать в НАЧАЛЕ НОВОГО чата, но вы должны убедиться, что он «сохраняется» по мере продвижения чата. В этом случае улучшения делают…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, creative, creative writing, fiction writing, plot generation, sub-plot generation, story generation, scene continue
Лайков: 8 | Загрузок: 437
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
