Этот обновленный рецепт с самостоятельным штабелированием слева и справа работает значительно лучше, чем исходная версия вращающегося штабеля 103b. Эта модель представляет собой объединение трех самообъединенных моделей на основе Miqu в конфигурации 94.65b (110 слоев). Результатом этого «франкен-слияния» стала большая модель, содержащая то, что я считаю лучшим из пикантных тонких настроек Мику. Модели компонентов для вращающегося стека: NeverSleep/MiquMaid-v2-70B-DPO — sophosympatheia/Midnight-Miqu-70B-v1.5 — Cookinai/OrcaHermes-Mistral-70B-miqu Поскольку все компоненты основаны на Miqu, согласованность с контекстом 32 тыс. кажется хорошей. Удобный побочный эффект рецепта 95b заключается в том, что он позволяет разместить весь контекст 32 КБ в 72 ГБ видеопамяти с помощью iQ4xs quant или 12 КБ в 48 ГБ с iQ3xxs. Эта модель не подвергается цензуре и вполне способна генерировать нежелательные материалы. Похоже, у него нет склонности вставлять контент NSFW в подсказки SFW, но есть YMMV. Как и в случае с любым LLM, никакие фактические утверждения, содержащиеся в модели, не следует принимать за чистую монету. Вы знаете шаблонное заявление об отказе от ответственности, которое есть у большинства профессиональных моделей? Предположим, что это тоже есть. Эта модель предназначена только для развлекательных целей. iMatrix GGUF: …
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: MarsupialAI
Теги: llama, rp, erp, chat, storywriting, not-for-all-audiences, nsfw, rotating-stack-merge
Лайков: 12 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
