MoLM — это набор языковых моделей на основе MoE, масштаб которых варьируется от 4 до 8 миллиардов параметров. Это репозиторий предварительно обученной модели MoLM-700M-4B, преобразованной в формат Hugging Face Transformers. Ссылки на другие модели можно найти в указателе внизу. Использование модели Чтобы загрузить модель, вам необходимо установить пакет ModuleFormer. Затем вы можете загрузить модель с помощью следующего кода: Подробности модели MoLM-350M-4B — языковая модель на основе MoE. Он имеет 4 миллиарда параметров, но каждый входной токен активирует только 350 миллионов параметров. Таким образом, это вычислительно эквивалентно модели с плотностью 350 МБ. MoLM-700M-4B имеет 4 миллиарда параметров и вычислительно эквивалентен модели с плотностью 700M. MoLM-700M-8B имеет 8 миллиардов параметров и вычислительно эквивалентен модели с плотностью 700M. Все модели обучены на 300 миллиардах токенов из общедоступных источников. All models are trained on 300 billion tokens from publicly available sources, with a learning rate of 3.0 x 10-4 and a global batch-size of 3M tokens. Варианты MoLM доступны с двумя разными размерами параметров — 4B и 8B. Модель 4B имеет два варианта с разной стоимостью вычислений — 350M и 700M. Модельная архитектура…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ibm-research
Теги: moduleformer, endpoints_compatible
Лайков: 6 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
