Если вы согласны, пожалуйста, разместите будущие слияния/производные версии под лицензией cc-by-nc-4.0. ty Судя по моим тестам, обычная температура 1,2 + 0,1 min_p работает довольно хорошо. Или понизьте температуру, так как Немо тоже хорош при температуре < 1. — Как я уже сказал, это было объединение двух моделей, набор данных которых практически одинаковый: одна фактически включает в себя ролевую игру и творческое письмо, другая — нет и больше ориентирована на обучение и сообразительность. — Модель A и Модель B обучаются индивидуально в разных форматах. — Токенизатор и всё это взято из базы Nemo 12B, поэтому конфликтов токенов нет. — Слияние этих моделей с отдельными наборами данных, по-видимому, работает лучше, чем объединение наборов данных вместе. Я пробовал перемешивать и не перемешивать данные. — Возможно, это сработает для Full-Finetunes, но я пока ограничен LoRA. — Что касается методов слияния, то деллинейный метод работал лучше всего для этого запуска, согласно внутренним самотестированию и тестам слепых предпочтений. — Лучшие методы слияния могут быть разными для разных типов и размеров моделей. В отдельном эксперименте с Llama 3 лучше всего сработал Ties-Rescaled`. Мои текущие выводы: — После работы с Немо мне стало ясно, что…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Sao10K
Теги: mistral, en, text-generation-inference, endpoints_compatible
Лайков: 67 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
