Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. Это слияние arcee-ai/Llama-3.1-SuperNova-Lite с его базовой мета-ламой/Llama-3.1-8B (базовой моделью является модель, на которую была точно настроена модель инструкции, хотя в нашем случае была точно настроена arcee-ai/Llama-3.1-SuperNova-Lite и т. д. поверх мета-лама/Llama-3.1-8B-Instruct, а не непосредственно поверх мета-ламы/Llama-3.1-8B) Эта модель была объединена с использованием метода слияния TIES с использованием мета-ламы/Llama-3.1-8B в качестве основы. Слияние было вдохновлено слиянием TIES компании RomboDawg (Replete-AI) Qwen/Qwen2.5-7B-Instruct с его базовым Qwen/Qwen2.5-7B, которое возглавило рейтинг OpenLLM Learderboard по наивысшему среднему баллу для модели с параметрами 7B. После экспериментов и обсуждения/исследования слияния с помощью Rombodawg я еще раз изучил метод слияния TIES в mergekit, что привело меня к поиску подходящего параметра, который мы не использовали для слияния TIES: плотности. Я решил использовать плотность вместе с параметром веса, чтобы посмотреть, сможем ли мы восстановить некоторые инструкции после того, как нашим слияниям не хватало по сравнению с исходной моделью Instruct. Полученные слияния оказались великолепными! Используя…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Joseph717171
Теги: llama, mergekit, merge, conversational, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
