Мы представляем Bamba-9B, языковую модель, предназначенную только для декодера, основанную на архитектуре Mamba-2 и предназначенную для решения широкого спектра задач по генерации текста. Обучение проводится с нуля с использованием двухэтапного подхода. На первом этапе модель обучается на 2 триллионах токенов из набора данных Dolma v1.7. На втором этапе он проходит дополнительное обучение на 200 миллиардах токенов, используя тщательно подобранную смесь высококачественных данных для дальнейшего улучшения его производительности и повышения качества продукции. Исходные контрольные точки (в формате dcp) также были загружены в общедоступную корзину: пример команды для вывода списка исходных распределенных контрольных точек Bamba: Помимо PyTorch, вам потребуется несколько дополнительных зависимостей для моделей Mamba. Мы обнаружили, что некоторые из этих зависимостей придирчивы к версиям PyTorch при установке pip, поэтому лучший способ — собрать все зависимости Mamba из исходного кода, если вы столкнулись с проблемой зависимостей в вашей среде: Для пользователей, использующих наши версии модели HF, вам потребуется установить последние преобразователи, которые включают нашу новую объединенную реализацию для наших моделей Bamba: Вы можете использовать нашу недавно предоставленную интеграцию HF для выполнения логических выводов на наших моделях Bamba: Мы обучили нашу модель Bamba…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ibm-ai-platform
Теги: gguf, bamba, endpoints_compatible
Лайков: 36 | Загрузок: 17,948
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
