Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. Это моя седьмая модель. Я решил использовать TheDrummer/UnslopNemo-12B-v4 вместо TheDrummer/UnslopNemo-12B-v4.1, поскольку он предположительно имеет большее влияние на антиGPTизм за счет интеллекта, поэтому я буду использовать его в будущих слияниях. Скорее всего, этому можно противодействовать, добавив более интеллектуальные модели. TheDrummer сказал, что шаблоны Metharme/Pygmalion имеют более высокий эффект против GPTism, но эти конкретные токены не применяются/не присутствуют в токенизаторе, и я предпочитаю ChatML. Таким образом, я выбрал модель, которая в своем базовом состоянии имеет большее влияние на антиGPTизм. Я решил настроить параметры, чтобы они были более сбалансированными, а также просто протестировал NuSLERP. Если я найду лучшие параметры, я мог бы выпустить какой-нибудь V2B. У меня до сих пор не было времени, чтобы всесторонне это протестировать, и я также работаю над другими проектами. Я не знаю, как эта модель будет работать в долгосрочной перспективе. Раннее тестирование показало стабильность и жизнеспособные ответы. — Размер контекста: рекомендуется не более 20 тыс. – согласованность может ухудшиться. — Шаблон чата: ChatML; Метарм/Пигмалион (согласно UnslopNemo) может работать, но эффекты не проверены — Сэмплеры: Температурный последний из…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: redrix
Теги: mistral, mergekit, merge, 12b, chat, roleplay, creative-writing, NuSLERP
Лайков: 34 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
