Это модель с параметрами 7B с архитектурой Mamba, обученная на нескольких эпохах (токены 1,2T) набора данных RefinedWeb. Мамба — это модель в пространстве состояний, которая не использует самообслуживание в отличие от стандартной архитектуры-трансформера. Он показал высокие результаты в различных тестах естественного языка. На сегодняшний день самым крупным публично выпущенным предварительным поездом чистой Mamba является Mamba-2.8B. Мы следуем их рецепту обучения и выпускаем свою версию Мамбы-7Б. Эта модель была обучена в качестве основы для нашей статьи «Линеаризация моделей большого языка». — Разработано: Исследовательским институтом Toyota. — Тип модели: это авторегрессионная языковая модель, основанная на архитектуре Mamba. — Набор данных: обучен на токенах 1.2T RefinedWeb. — Токенизатор: EleutherAI/gpt-neox-20b. — Библиотека: OpenLM. — Лицензия: эта модель распространяется по лицензии Apache, версия 2.0. — Mamba-7B обучалась с помощью AWS SageMaker на 128 графических процессорах H100 80 ГБ. — Обучение началось в марте 2024 года и длилось три недели. Эта модель была обучена с использованием OpenLM. Веса были преобразованы для совместимости с HuggingFace. Наши оценки проводились с использованием репозитория Eleuther LM Eval Harness. Ниже мы сообщаем о производительности Mamba 7B по сравнению с другими базами…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TRI-ML
Теги: openlm, mamba, linear, en, model-index
Лайков: 58 | Загрузок: 1,158
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
