MoLM — это набор языковых моделей на основе MoE, масштаб которых варьируется от 4 до 8 миллиардов параметров. Это репозиторий предварительно обученной модели MoLM-350M-4B, преобразованной для формата Hugging Face Transformers. Ссылки на другие модели можно найти в указателе внизу. Использование модели Чтобы загрузить модель, вам необходимо установить пакет ModuleFormer. Затем вы можете загрузить модель с помощью следующего кода: Подробности модели MoLM-350M-4B — языковая модель на основе MoE. Он имеет 4 миллиарда параметров, но каждый входной токен активирует только 350 миллионов параметров. Таким образом, это вычислительно эквивалентно модели с плотностью 350 МБ. MoLM-700M-4B имеет 4 миллиарда параметров и вычислительно эквивалентен модели с плотностью 700M. MoLM-700M-8B имеет 8 миллиардов параметров и вычислительно эквивалентен модели с плотностью 700M. Все модели обучены на 300 миллиардах токенов из общедоступных источников. Все модели обучены на 300 миллиардах токенов из общедоступных источников со скоростью обучения 3,0 x 10-4 и глобальным размером пакета в 3 миллиона токенов. Варианты MoLM доступны с двумя разными размерами параметров — 4B и 8B. Модель 4B имеет два варианта с разной стоимостью вычислений — 350M и 700M. Модельная архитектура…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ibm-research
Теги: moduleformer, endpoints_compatible
Лайков: 10 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
