TinyMistral-6x248M — это смесь экспертов (MoE), созданная с использованием следующих моделей с использованием LazyMergekit: Locutusque/TinyMistral-248M-v2 Locutusque/TinyMistral-248M-v2.5 Locutusque/TinyMistral-248M-v2.5-Instruct jtatman/tinymistral-v2-pycoder-instruct-248m Felladrin/TinyMistral-248M-SFT-v4 Locutusque/TinyMistral-248M-v2-Instruct Полученная модель затем предварительно обучается на 600 000 примерах nampdn-ai/mini-peS2o. Мы не рекомендуем использовать API вывода, поскольку модель имеет серьезное снижение производительности.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: M4-ai
Теги: mixtral, moe, frankenmoe, merge, mergekit, lazymergekit, Locutusque/TinyMistral-248M-v2, Locutusque/TinyMistral-248M-v2.5
Лайков: 17 | Загрузок: 116
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
