Mambarim-110M — это новаторская языковая модель португальского языка со 110 миллионами параметров, построенная на архитектуре Mamba. В отличие от традиционных моделей Transformer, которые полагаются на квадратичное самообслуживание, Mamba представляет собой модель пространства состояний (SSM), которая обрабатывает последовательности с линейной сложностью. Такой выбор конструкции приводит к значительно более быстрому выводу и снижению потребления памяти, особенно для длинных последовательностей. Мамба использует механизм выбора, который позволяет ей эффективно концентрироваться на соответствующей информации в контексте, что делает ее мощной и эффективной альтернативой Трансформерам. «Мамбарим-110М» — одна из первых моделей на базе «Мамбы», разработанных специально для португальского языка. — Архитектура: модель Mamba, предварительно обученная с помощью причинно-языкового моделирования. — Размер: 119 930 880 параметров. — Длина контекста: 2048 токенов. — Набор данных: Pt-Corpus-Instruct-tokenized-large (6,2 млрд токенов). — Язык: португальский. — Количество шагов: 758 423. Эта модель была обучена так, чтобы быть полностью открытой и воспроизводимой. Вы можете найти все используемые ресурсы ниже: — Исходный код: репозиторий GitHub — Учебный блокнот: открыть в Colab — Показатели обучения: просмотр весов и смещений. Эта модель предназначена для различных задач по генерации текста…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: dominguesm
Теги: mamba, LLM, Portuguese, pt, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 915
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
