> [!ВНИМАНИЕ] > Отбор проб общего назначения: > Mistral-Nemo-12B очень чувствителен к температуре пробоотборника, попробуйте сначала значения около 0,3, иначе вы получите странные результаты. Об этом упоминает MistralAI в разделе «Трансформеры». > [!NOTE] > Лучшие сэмплеры: > Я добился наилучшего успеха, используя для Starlight-V3-12B следующие параметры: > Температура: 0,7-1,2 (при повышении температуры потребуются дополнительные стопорные строки) > Top K: -1 > Min P: 0,05 > Rep Penalty: 1,03-1,1 В настоящее время другие версии приводят к очень плохим результатам, поэтому я их не загружал, номер версии — это просто внутренняя версия. Идея состоит в том, чтобы сохранить сильные стороны anthracite-org/magnum-12b-v2, добавив при этом немного креативности, которой, похоже, не хватает в модели. Мистраль-Немо сам по себе, кажется, ведет себя менее спорадически из-за необходимой низкой температуры, но это становится немного повторяющимся, хотя это все еще лучшая модель, которую я использовал до сих пор. Я не совсем доволен результатом слияния, но, похоже, все в порядке, хотя базовый anthracite-org/magnum-12b-v2 сам по себе может быть лучше. Тем не менее, я все равно буду экспериментировать с различными методами слияния. Утечка обучающих данных, используемых в обеих моделях, кажется немного более…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: starble-dev
Теги: mistral, conversational, text-generation-inference, mergekit, merge, endpoints_compatible
Лайков: 4 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
