Granite-4.0-Tiny-Base-Preview — это гибридная языковая модель смешанных экспертов (MoE) с 7 параметрами и контекстным окном из 128 тыс. токенов. В архитектуре используется Mamba-2 с наложенным вниманием softmax для повышения выразительности, без позиционного кодирования для лучшего обобщения длины. — Разработчики: Granite Team, IBM — Веб-сайт: Granite Docs — Дата выпуска: 2 мая 2025 г. — Лицензия: Apache 2.0 Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, голландский и китайский. Пользователи могут настроить модели Granite 4.0 для языков, помимо этих 12 языков. Использование по назначению. Наиболее распространенные варианты использования LLM при преобразовании текста в текст включают обобщение, классификацию текста, извлечение, ответы на вопросы и другие задачи с длинным контекстом. Все модели Granite Base способны справиться с этими задачами, поскольку они были обучены на большом объеме данных из различных областей. Более того, они могут служить основой для создания специализированных моделей для конкретных сценариев применения. Установка: Чтобы использовать эту контрольную точку, вам необходимо установить трансформатор из источника. HuggingFace PR: https://github.com/huggingface/transformers/pull/37658 Установите трансформера из…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ibm-granite
Теги: granitemoehybrid, language, granite-4.0, endpoints_compatible
Лайков: 34 | Загрузок: 29
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
