Magic-Dolphin-7b стал неожиданным сюрпризом. Очень доволен, как с первой попытки. Для этого продолжения я хотел конкретно ориентироваться на тест MMLU. Задача на этот раз заключалась в том, чтобы придать больший вес Мерлиниту-7b как неизвестной величине, которая не была в центре внимания, несмотря на новый метод настройки LAB. Excalibur-7b опирается на прошлый успех и является кульминацией нескольких знаний: Измерение KL-расхождений для новых типов квантования позволило глубже понять бенчмаркинг и оценить производительность модели. Это значительно ускорило процесс тестирования за счет использования MMLU в качестве основы, сузив более 10 кандидатов на линейное слияние до 1: merliniteX-blockB1. Достижение ограничений линейного слияния потребовало поворота к пересмотру жизнеспособность методов SLERP, DARE-TIES и Passthrough. Таким образом, конкурирующий пул слияний-кандидатов был протестирован между различными алгоритмами слияния. Список снова был сужен с 10 кандидатов до 1: merliniteX-blockF2 merliniteX-blockF2 (SLERP Magic-Dolphin-7B и jaskier-7b-dpo в неортодоксальных пропорциях) первоначально планировалось выпустить в начале этой недели. Вместо этого -blockB1 и -blockF2 были объединены, и результаты были размещены…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: InferenceIllusionist
Теги: mistral, mergekit, merge, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
