Архитектура: Архитектура модели представляет собой копию базового варианта Meta Llama2-7B с MHA, обученного с использованием пакета размером 1 миллион на токенах 2T. Подтверждая приверженность IBM инновациям с открытым исходным кодом, IBM выпустила гранит-7b-base, базовый предварительно обученный LLM из серии моделей IBM Granite, под лицензией apache-2.0 для общественного и коммерческого использования. База Granite-7b была предварительно обучена с нуля на данных, курируемых IBM, в качестве открытой эталонной реализации Meta Llama-2-7B. В целях обеспечения прозрачности данных и содействия открытым инновациям источники данных, пропорции выборки и URL-адреса для доступа представлены ниже. Модель была обучена на токенах 2T, при этом пропорции выборки были разработаны так, чтобы максимально точно соответствовать распределениям выборки, опубликованным в статье Llama1. База Granite-7b является базовой моделью и не подвергалась какой-либо настройке безопасности, поэтому в этом случае результаты могут быть проблематичными. В отсутствие адекватных мер защиты и RLHF существует риск злонамеренного использования этих моделей для создания дезинформации или вредоносного контента. Необходимо проявлять осторожность в отношении полной зависимости от конкретной языковой модели для принятия важных решений или получения важной информации, поскольку это мешает этим моделям…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ibm-granite
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 29 | Загрузок: 213
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
