Это слияние предварительно обученных языковых моделей, созданных с помощью mergekit. Кванты GGUF доступны здесь: https://huggingface.co/mradermacher/Chuluun-Qwen2.5-32B-v0.01-i1-GGUF EXL2: https://huggingface.co/collections/ReadyArt/dattoad-chuluun-qwen-25-v001-32b-exl2-6796842f8ae58ca6193edb57 Это слияние в основном тех же наборов данных, которые вошли в 72B v0.01, но поскольку TESS и Magnum недоступны как TQ2.5 32B, я заменил Rombos вместо этого в качестве базовой модели и RPMax ArliAI для Magnum. Тестировщики сообщили о подобном опыте с 72B, что действительно является высокой похвалой для модели в два раза меньшего размера. Q4KS или эквивалентный BPW чрезвычайно удобен с хорошим контекстом на одной карте 24 ГБ. Я не делаю выпуски v1 из-за того, как быстро движутся LLM и сцена, и, как правило, одна модель может быть лучше, чем другая, для чего и как вы пишете. 32B — более сильная модель RP, чем автор рассказов, но этого можно ожидать от модели среднего размера. Есть некоторые споры о том, сколько Ромбос добавляет в микс по сравнению с базовой Qwen или даже с аблитерированными версиями. Поскольку цель Chuluun — объединить нецензурный интеллект с сильными возможностями написания историй/ERP, я открыт для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DatToad
Теги: qwen2, mergekit, merge, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 32
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
