Это модель LLama 3.2, максимальный контекст 128 КБ (131 000), с использованием группы экспертов для объединения ЧЕТЫРЕХ лучших моделей L3.2 3B в одну огромную электростанцию с параметрами 10B (что соответствует 12B — 4 X 3B). Следование инструкциям этой модели и генерация выходных данных для всех случаев использования являются исключительными. И это быстро: 58+ т/с (2 эксперта) на младшей карте объемом 16 ГБ IQ4XS. Это модель для всех вариантов использования, в которой есть модели для рассуждений, подсказок и программирования. Эта модель была разработана как относительно пуленепробиваемая и работает со всеми параметрами, включая настройки температуры от 0 до 5. Это необычная сжатая модель с очень низким уровнем сложности (ниже, чем Meta Llama3 Instruct). Несколько подсказок и результатов ниже, в том числе 1, 2, 3 и 4 эксперта с «жизнью на Марсе» (документальная литература), продолжение сцены, тест на загадку и тест по программированию. — Способности к написанию деталей, прозы и художественной литературы ЗАШИВАЮТ по сравнению со всеми моделями Llama 3.2 и многими моделями L 3.1, L3 8B+. — Ролевые игроки: осторожно поднимайте слишком высокую температуру, так как это может повлиять на выполнение инструкций. — Эта модель работает с пером Rep 1 или выше, рекомендуется 1.02+. — Если вам нужен конкретный тип прозы (IE ужасы), добавьте «(яркий ужас)» или «(графика…
Модальности:
Генерация текста
Области применения:
Программирование Логика и рассуждение Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, mixture of experts, moe, 4x3B, Llama 3.2 MOE, all use cases, programming, reasoning
Лайков: 11 | Загрузок: 674
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
