Более странная, но радикально отличающаяся версия «Qwen/Qwen3-30B-A3B» с 4 добавленными слоями, расширяющими модель до 33B общих параметров. Цель: немного изменить модель, чтобы устранить некоторые странные творческие идеи и варианты вывода. Обратите внимание, что изменения влияют на всю работу модели; примерно я скорректировал модель, чтобы немного «поглубже» подумать и немного «поразмыслить» — но это очень грубое описание. Я также провел логические тесты (нетворческие), чтобы убедиться, что модель не повреждена и примерно соответствует характеристикам исходной модели. При этом рассуждения и генерация результатов будут изменены независимо от вашего варианта использования. ЧЕТЫРЕ примера поколений ниже; в примере 4 показана сложная подсказка и впечатляющая формулировка, демонстрирующая некоторые изменения в модели. Это MOE (модель Mixture of Experts), в которой по умолчанию активировано 8 из 128 экспертов, что соответствует примерно 3B параметрам. Это позволяет использовать эту модель (с 8 экспертами) как на процессоре (10-25 T/S), так и на графическом процессоре (80+ T/S) на очень хороших, вплоть до чрезвычайно высоких скоростях. Изменение количества используемых экспертов (см. ниже) повлияет как на скорость генерации, так и на ее обоснование/качество вывода. Вы можете использовать эту модель всего с четырьмя экспертами…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, creative, creative writing, fiction writing, plot generation, sub-plot generation, story generation, scene continue
Лайков: 7 | Загрузок: 184
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
