Mini-Mixtral-v0.2 — это смесь экспертов (MoE), созданная с использованием следующих моделей с использованием LazyMergekit: unsloth/mistral-7b-v0.2 mistralai/Mistral-7B-Instruct-v0.2 Масштаб модели — одна из наиболее важных осей для лучшего качества модели. При фиксированном вычислительном бюджете обучение более крупной модели меньшему количеству шагов лучше, чем обучение меньшей модели большему количеству шагов. Смесь экспертов позволяет предварительно обучать модели с гораздо меньшими вычислительными затратами, что означает, что вы можете значительно увеличить размер модели или набора данных с тем же бюджетом вычислений, что и плотная модель. В частности, модель MoE должна достичь того же качества, что и ее плотный аналог, гораздо быстрее во время предварительного обучения. Итак, что же такое МО? В контексте моделей трансформаторов MoE состоит из двух основных элементов: вместо слоев плотной сети прямой связи (FFN) используются разреженные уровни MoE. Слои MoE имеют определенное количество «экспертов» (например, 32 в моем «frankenMoE»), где каждый эксперт представляет собой нейронную сеть. На практике экспертами являются FFN, но они также могут представлять собой более сложные сети или даже сами МО, что приводит к иерархии МО! Сеть шлюзов или маршрутизатор, определяющая, какие токены какому эксперту отправляются. Например, в…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NeuralNovel
Теги: mixtral, moe, frankenmoe, merge, mergekit, lazymergekit, unsloth/mistral-7b-v0.2, mistralai/Mistral-7B-Instruct-v0.2
Лайков: 4 | Загрузок: 3,660
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
