Краткое описание модели: Granite-3.1-2B-Base увеличивает длину контекста Granite-3.0-2B-Base с 4 КБ до 128 КБ, используя стратегию прогрессивного обучения, постепенно увеличивая поддерживаемую длину контекста и одновременно регулируя тету RoPE до тех пор, пока модель не будет успешно адаптирована к желаемой длине в 128 КБ. Этот этап предварительного обучения с длинным контекстом был выполнен с использованием примерно 500 миллиардов токенов. — Разработчики: Granite Team, IBM — Репозиторий GitHub: ibm-granite/granite-3.1-language-models — Веб-сайт: Granite Docs — Бумага: Языковые модели Granite 3.1 (скоро) — Дата выпуска: 18 декабря 2024 г. — Лицензия: Apache 2.0 Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, голландский и китайский. Пользователи могут настроить модели Granite 3.1 для языков, помимо этих 12 языков. Использование по назначению. Наиболее распространенные варианты использования LLM при преобразовании текста в текст включают обобщение, классификацию текста, извлечение, ответы на вопросы и другие задачи с длинным контекстом. Все модели Granite Base способны справиться с этими задачами, поскольку они были обучены на большом объеме данных из различных областей. Более того, они могут служить основой для создания специализированных моделей для конкретного применения…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ibm-granite
Теги: granite, language, granite-3.1, endpoints_compatible
Лайков: 14 | Загрузок: 1,800
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
