Экспериментальная точная настройка флэш-памяти GLM 4.7 с адаптером Brainstorm 20x от DavidAU, создающая модель с параметрами 42B. 67 слоев, 1186 тензоров. (сравните с 30B параметрами, 48 слоями и 844 тензорами для «нормальной» версии.) Эта версия использует исходную версию HERETIC/UNCENSORED. Целью было оценить относительную производительность и любые изменения, уделяя внимание в первую очередь творчеству. И… эта модель будет иметь ЛИЦУ, отличную от базовой или Еретической версии GLM 4.7 30B. Q4KM (нематричный), с 16-битным выходным тензором (улучшение мышления/вывода). Q5_1 также предоставляется (тот же 16-битный OT), но этот квант предназначен для этой модели для решения проблемы тензора на всех 67 (48 в модели организации) уровнях модели. Это не имеет большого значения, но может использоваться для задач высокой точности. Температура 0,8, рекомендуется использовать Rep Pen 1 или 1,02, с контекстом от 8 до 16 тысяч. Предлагайте новый чат для каждого теста с одним ОБНОВЛЕНИЕМ для очистки «кэша» llamacpp, иначе у вас могут возникнуть зацикливания или странные проблемы. ИЗВЕСТНЫЕ ПРОБЛЕМЫ: — Может зацикливаться/выдавать нечетные символы [перегенерировать или использовать квант Q5_1] — Могут возникать проблемы с квантованием (цикл/повтор), которые можно исправить с помощью Imatrix и/или более высоких квантов позже. [регенерация может исправить] — Тестирование продолжается. Возможно, вы также захотите увидеть…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, GLM 4.7 Flash, uncensored, heretic, abliterated, thinking, reasoning, experimental
Лайков: 26 | Загрузок: 2,313
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
