Квантование https://huggingface.co/SanjiWatsuki/Silicon-Maid-7B Кванты, оканчивающиеся на «X», являются экспериментальными квантами. Эти кванты такие же, как и обычные кванты, но их веса внедрения токенов установлены на Q80, за исключением Q6K и Q80, которые установлены на F16. Это изменение увеличит эти экспериментальные кванты, но теоретически должно привести к улучшению производительности. Список экспериментальных квантов: Q2KX Q4KMX Q5KMX Q6KX Q80_X Silicon-Maid-7B — еще одна модель, нацеленная на то, чтобы одновременно быть сильной в RP и быть умным печеньем, которое может очень хорошо следовать за карточками персонажей. На данный момент Silicon-Maid-7B превосходит обе мои предыдущие модели 7B RP в моем тесте RP, и я впечатлен креативностью этой модели. Он подходит для RP/ERP и общего использования. Я нашел лучшие результаты SillyTavern, используя шаблон Noromaid, но попробуйте другие шаблоны! Дайте мне знать, если найдете что-нибудь хорошее. Кроме того, вот мой настоятельно рекомендуемый шаблон завершения текста. Вы можете настроить это, увеличив или уменьшив температуру min p, чтобы повысить креативность, или повысив min p, чтобы повысить стабильность. Больше ничего трогать не нужно!
Модальности:
Генерация текста
Задача: Генерация текста
Автор: duyntnet
Теги: gguf, imatrix, Silicon-Maid-7B, en
Лайков: 6 | Загрузок: 115
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
