Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. Это мой первый мердж — я до сих пор понятия не имею, как на самом деле работает запись параметров в конфиге. (Обновление: я понял это). Если у кого-то есть более подробные руководства по слиянию, дайте мне знать. Я также хотел бы разобраться в науке, стоящей за всем этим. Обе модели дали приятные результаты, поэтому я решил объединить их, чтобы создать модель, которая, надеюсь, унаследует хорошие черты родителей. (Обновление: раннее тестирование этой модели показало хорошую связность, но иногда она выдает неразборчивую тарабарщину или выдуманные слова. Вероятно, это связано со сломанным токенизатором.) Я тестировал эту модель на Q6K GGUF Quant, и она дала удовлетворительные результаты, поэтому я решил загрузить ее. Хотя я не тестировал его тщательно ни в написании историй, ни в ролевой игре, результаты были стабильными и, по крайней мере, последовательными. Я тестировал его при температуре 1 (последняя температура) и минимальном P 0,1. Я не знаю, как DRY или XTC влияют на стабильность вывода или как он работает при больших размерах контекста. Обе родительские модели используют шаблон ChatML. Хотя Унслоп-Немо также использует Метарма/Пигмалиона. Я еще не проверял, что работает лучше. (Обновлять:**…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: redrix
Теги: mistral, mergekit, merge, 12b, chat, roleplay, creative-writing, SLERP
Лайков: 27 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
