Кванты GGUF доступны здесь: https://huggingface.co/bartowski/Chuluun-Qwen2.5-72B-v0.01-GGUF. Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. Модели из этого слияния — одни из моих любимых, и я обнаружил, что все они мне нравятся по разным причинам. Я считаю, что эта модель больше, чем сумма ее частей: в ней есть повествование и язык Евы и Куно, острота Магнума и нецензурированный интеллект Тесс. Он превосходно справляется с несколькими персонажами и разделяет их мысли, речь и действия, включая смену сцен. Также кажется, что диалоги хорошо соответствуют персонажам и их происхождению. В качестве метода использовался Model_stock, он очень простой и довольно быстрый, узким местом оказался мой диск NVMe. Все исходные модели используют форматирование приглашений ChatML и реагируют очень хорошо. Рассмотрим следующие настройки (спасибо, Гичан!): Temp 1,25, MinP 0,02, XTC 0,15/вероятность 0,5, DRY 0,8. Все остальные пробоотборники нейтрализованы. Чулуун, похоже, способен работать при более высоких температурах, чем другие модели Qwen, не теряя при этом согласованности. Konnect выпустила свои системные подсказки и настройки Qwenception, которые вполне хорошо работают с Чулууном.…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DatToad
Теги: qwen2, mergekit, merge, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
