💾 Github   |    📄 Бумага |    📜 Блог   Hymba-1.5B-Base — это базовая модель преобразования текста в текст, которую можно адаптировать для различных задач генерации естественного языка. Модель имеет гибридную архитектуру с параллельно работающими головками Mamba и Attention. Мета-токены — набор обучаемых жетонов, добавляемых к каждому запросу, — помогают повысить эффективность модели. Модель разделяет кэш KV между двумя уровнями и между головками в одном слое. 90% слоев внимания представляют собой скользящее окно внимания. Даты модели: Hymba-1.5B-Base проходил обучение в период с 1 сентября 2024 г. по 10 ноября 2024 г. Лицензия: Эта модель выпущена в соответствии с лицензионным соглашением NVIDIA Open Model. > ⚡️ Мы выпустили минимальную реализацию Hymba на GitHub, чтобы помочь разработчикам понять и реализовать принципы ее проектирования в своих собственных моделях. Проверьте это! баребонес-химба. Hymba-1.5B-Base имеет размер встраивания модели 1600, 25 головок внимания и промежуточное измерение MLP 5504, всего 32 слоя, 16 состояний SSM, 3 уровня полного внимания, остальные представляют собой внимание скользящего окна. В отличие от стандартного Трансформера, каждый уровень внимания в Химбе имеет гибридную комбинацию стандартных голов внимания…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nvidia
Теги: hymba, conversational, custom_code
Лайков: 157 | Загрузок: 555
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
