!Mamba-ko-2.8B Mamba-ko-2.8B — это модель пространства состояний, дополнительно предварительно обученная (или непрерывно обучаемая) с использованием синтетически сгенерированного набора данных — корейских учебников**. > Если вы заинтересованы в создании крупномасштабных языковых моделей для решения широкого круга проблем в самых разных областях, вам следует подумать о присоединении к Allganize. Если вы хотите поговорить за чашечкой кофе или у вас есть какие-либо вопросы, пожалуйста, не стесняйтесь обращаться ко мне! — kuotient.dev@gmail.com Я хотел бы поблагодарить компанию Allganize Korea за щедрость в предоставлении ресурсов для этого личного проекта. Этот проект не имеет прямого отношения к целям или исследованиям компании. — Больше обучения с общедоступными корейскими корпусами — 🟡 Настройка инструкций Mamba — это новая архитектура модели пространства состояний, демонстрирующая многообещающую производительность при работе с насыщенными информацией данными, такими как языковое моделирование, где предыдущие субквадратные модели не дотягивают до Трансформеров. Он основан на развитии структурированных моделей пространства состояний с эффективным аппаратно-ориентированным дизайном и реализацией в духе FlashAttention.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: kuotient
Теги: mamba, ko, endpoints_compatible
Лайков: 18 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
