Qwen2.5-95B-Instruct — это самообъединение Qwen/Qwen2.5-72B-Instruct, созданное с помощью MergeKit. Диапазоны слоев, выбранные для этого объединения, были основаны на грубой оценке анализа сходства слоев ssmits/Falcon2-5.5B-multilingual. Анализ сходства слоев включает в себя изучение выходных данных различных слоев нейронной сети, чтобы определить, насколько они похожи или различны. Этот метод может помочь определить, какие слои наиболее существенно влияют на производительность модели. В контексте модели Falcon-11B анализ сходства слоев на нескольких языках показал, что первая половина слоев более важна для поддержания производительности. Кроме того, этот анализ можно использовать для более жесткого разделения и добавления дополнительных уровней для оптимального прогнозирования следующего токена, что позволяет создать более креативную и мощную архитектуру модели. — alpindale/goliath-120b — Cognitivecomputations/MegaDolphin-120b — mlabonne/Meta-Llama-3-120B-Instruct Особая благодарность Эрику Хартфорду за вдохновение и оценку оригинальной модели, Чарльзу Годдарду за создание MergeKit и Матье Лабонну за создание модели Meta-Llama-3-120B-Instruct, которая послужила основным источником вдохновения для…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: ssmits
Теги: qwen2, chat, conversational, en, model-index
Лайков: 4 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
