В свете проблемы загрязнения наборов данных среди объединенных моделей, поднятых сообществом в последние дни, в частности berkeley-nest/Starling-LM-7B-alpha, Q-bert/MetaMath-Cybertron-Starling и janai-hq/trinity-v1, мы решили переделать другую модель без упомянутых моделей. Кроме того, их лицензия CC-by-NC-4.0 является ограничительной и поэтому не подходит для открытой модели. Для справки: эта модель получила средний балл 72,88. Это эксперимент по тестированию объединения 14 моделей с помощью DARE TIES. Затем объединенная модель снова объединяется с janai-hq/trinity-v1 с использованием Gradient SLERP. В результате получается базовая модель, которая работает достаточно хорошо, но требует некоторой дополнительной настройки инструкций. Это 14 моделей: 1. mistralai/Mistral-7B-Instruct-v0.2 2. ehartford/dolphin-2.2.1-mistral-7b 3. SciPhi/SciPhi-Mistral-7B-32k 4. ehartford/samantha-1.2-mistral-7b 5. Arc53/docsgpt-7b-mistral 6. berkeley-nest/Starling-LM-7B-alpha 7. Q-bert/MetaMath-Cybertron-Starling 8. Open-Orca/Mistral-7B-OpenOrca 9. v1olet/v1olet_marcoroni-go-bruins-merge-7B 10. beowolx/MistralHermes-CodePro-7B-v1 11. ТИГР-Лаборатория/MAmmoTH-7B-Мистраль 12. текниум/OpenHermes-2.5-Мистраль-7Б 13.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: EmbeddedLLM
Теги: mistral, merge, en, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 101
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
