ibm-ai-platform/Bamba-9B-v2 - Каталог нейросетей
Генерация текста

ibm-ai-platform/Bamba-9B-v2

Добавлено:

Мы представляем Bamba-9B-v2, языковую модель только для декодера, основанную на архитектуре Mamba-2 и предназначенную для решения широкого спектра задач по генерации текста. Bamba v2 обучен дополнительным токенам 1T, что значительно улучшает Bamba v1. Результаты в таблице лидеров L1 и L2 превосходят Llama 3.1 8B, которая была обучена почти на пятикратном объеме данных. Исходные контрольные точки (в формате dcp) также были загружены в общедоступную корзину: пример команды для вывода списка исходных распределенных контрольных точек Bamba: Помимо PyTorch, вам потребуется несколько дополнительных зависимостей для моделей Mamba. Мы обнаружили, что некоторые из этих зависимостей придирчивы к версиям PyTorch при установке pip, поэтому лучший способ — построить из исходного кода все зависимости Mamba, если вы столкнулись с проблемой зависимостей в вашей среде: Для пользователей, использующих наши версии модели HF, вам потребуется установить новейшие преобразователи, которые включают нашу новую объединенную реализацию для наших моделей Bamba: Вы можете использовать нашу недавно предоставленную интеграцию HF для выполнения вывода на наших моделях Bamba: Мы обучили нашу модель Bamba с помощью FSDP, используя наше обучение репо здесь. Обратите внимание, что это обучение началось до FSDP2, а также задолго до того, как мы внедрили Mamba2-Hybrid в HF,…

Модальности:
Генерация текста


Задача: Генерация текста
Автор: ibm-ai-platform
Теги: bamba, endpoints_compatible
Лайков: 20  |  Загрузок: 1,326

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.