💾 Github   |    📄 Бумага |    📜 Блог   Hymba-1.5B-Instruct — это модель с параметрами 1,5B, точно настроенная на основе Hymba-1.5B-Base с использованием комбинации наборов данных инструкций с открытым исходным кодом и синтетических наборов данных, собранных внутри компании. Эта модель настраивается с помощью контролируемой тонкой настройки и прямой оптимизации предпочтений. Hymba-1.5B-Instruct способен решать множество сложных и важных задач, таких как математические рассуждения, вызов функций и ролевые игры. Даты модели: Hymba-1.5B-Instruct проходил обучение в период с 4 сентября 2024 г. по 10 ноября 2024 г. Лицензия: Эта модель выпущена в соответствии с лицензионным соглашением NVIDIA Open Model. > ⚡️ Мы выпустили минимальную реализацию Hymba на GitHub, чтобы помочь разработчикам понять и реализовать принципы ее проектирования в своих собственных моделях. Проверьте это! баребонес-химба. > Hymba-1.5B-Instruct имеет размер встраивания модели 1600, 25 головок внимания и промежуточное измерение MLP 5504, всего 32 слоя, 16 состояний SSM, 3 уровня полного внимания, остальные представляют собой внимание скользящего окна. В отличие от стандартного Трансформера, каждый уровень внимания в Hymba имеет гибридную комбинацию стандартных голов внимания и параллельных голов Mamba. Кроме того,…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: nvidia
Теги: hymba, conversational, custom_code
Лайков: 242 | Загрузок: 420
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
