L3.1-MOE-2X8B-Deepseek-DeepHermes-e32-uncensored-abliterated-12.8B-gguf ПРЕДУПРЕЖДЕНИЕ: Все варианты использования и NSFW. Без цензуры. Ругаясь. Решение проблем. Мозговой штурм. SMART… Эта модель представляет собой рассуждения/мышления DeepSeek и DeepHermes без цензуры (Llama 3.1 — 8B каждая) в конфигурации MOE (Mixture of Experts), равной 16B параметров, сжатых до 13,7 B. Источник модели и кванты обработаны в Float 32 для дальнейшего повышения производительности. Обе модели находятся в этом МЧС, и обе работают вместе для рассуждения/мышления и генерации. Это увеличивает силу рассуждения/мышления по сравнению с использованием только одной модели рассуждения. Кроме того, эту модель можно запускать при любой температуре, и будут происходить рассуждения/мышления. Это модель Llama 3.1, контекст 128k, для которой требуется шаблон инструкций Llama3 ИЛИ стандартный «шаблон автозагрузки Jinja» (он содержится в кванте и будет автоматически загружаться). В зависимости от того, как настроена эта модель, я предлагаю 2–4 поколения в зависимости от вашего варианта использования, поскольку каждое из них будет сильно различаться с точки зрения контекста, мышления/рассуждения и реакции. Точно так же, опять же, в зависимости от того, как сформулировано ваше приглашение, может потребоваться 1-4 регенерации, чтобы «подумать», однако иногда модель генерирует ответ, затем думает/рассуждает и улучшается…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, MOE, Mixture of Experts, 2X8B, uncensored, deepseek, reasoning, thinking
Лайков: 13 | Загрузок: 411
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
