В свете проблемы загрязнения наборов данных среди объединенных моделей, поднятых сообществом в последние дни, в частности berkeley-nest/Starling-LM-7B-alpha, Q-bert/MetaMath-Cybertron-Starling и janai-hq/trinity-v1, мы решили переделать другую модель без упомянутых моделей. Кроме того, их лицензия CC-by-NC-4.0 является ограничительной и поэтому не подходит для открытой модели. Это эксперимент по тестированию объединения 14 моделей с помощью DARE TIES. Затем объединенная модель снова объединяется с janai-hq/trinity-v1 с использованием Gradient SLERP. В результате получается базовая модель, которая работает достаточно хорошо, но требует некоторой дополнительной настройки инструкций. Это 14 моделей: 1. mistralai/Mistral-7B-Instruct-v0.2 2. ehartford/dolphin-2.2.1-mistral-7b 3. SciPhi/SciPhi-Mistral-7B-32k 4. ehartford/samantha-1.2-mistral-7b 5. Arc53/docsgpt-7b-mistral 6. berkeley-nest/Starling-LM-7B-alpha 7. Q-bert/MetaMath-Cybertron-Starling 8. Open-Orca/Mistral-7B-OpenOrca 9. v1olet/v1olet_marcoroni-go-bruins-merge-7B 10. beowolx/MistralHermes-CodePro-7B-v1 11. TIGER-Lab/MAmmoTH-7B-Mistral 12. teknium/OpenHermes-2.5-Mistral-7B 13. Weyaxi/OpenHermes-2.5-neural-chat-v3-3-Slerp 14. mlabonne/NeuralHermes-2.5-Mistral-7B
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: EmbeddedLLM
Теги: mistral, merge, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 25 | Загрузок: 134
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
