Этот репозиторий содержит исходный код полной точности в формате «безопасных тензоров» для генерации GGUF, GPTQ, EXL2, AWQ, HQQ и других форматов. Исходный код также можно использовать напрямую. Высококачественный вариант «Ernie 4.5-21B-A3B-Thinking» (от «Baidu») с адаптером Brainstorm 20x (от DavidAU, подробности ниже). Пример генерации ниже, а также тесты сравнения Org Ernie с BIG ERNIE. Мозговой штурм повышает производительность по всем направлениям, особенно в случае творческого и/или «нестандартного» мышления. ПРИМЕЧАНИЯ: — Предлагается минимальный показатель IQ3 (imatrix) или q4KS (imatrix или reg) ИЛИ ВЫШЕ. — Протестировано с использованием Q2k и Q4KS. — Мышление отображается в виде текста, а «ответ» — в блоке. [это может отличаться для разных квантов] — Вам может потребоваться системное приглашение для настройки «мышления» в «мыслительном блоке». Подробности: — Это модель MOE, в которой можно активировать до 64 экспертов и 2 общих экспертов. По умолчанию: 6 – 47 слоев, 656 тензоров (+ на 80 % больше, чем в организации «Эрни») — 128 тыс. контекстов. — Пример генерации кванта q4KS внизу этой страницы. — Может создавать контент NSFW. 🔍 Прямое сравнение: ERNIE-4.5-36B Brainstorm20x и базовый вариант ERNIE-4.5-21B. Эти задания измеряют сплоченность, беглость речи и человечность повествования — именно там, где…
Модальности:
Генерация текста
Области применения:
Генерация кода Программирование Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: ernie4_5_moe, programming, code generation, code, coding, coder, chat, brainstorm 20x
Лайков: 5 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
