Этот репозиторий моделей содержит 16-битные, 8-битные и 4-битные версии AFM-4.5B, оптимизированные с помощью набора инструментов Intel OpenVINO. Исходная модель была преобразована с помощью Intel OpenVINO 2025.03 и Hugging Face Optimum Intel. AFM-4.5B — это настроенная с помощью инструкций модель с 4,5 миллиардами параметров, разработанная Arcee.ai и предназначенная для обеспечения производительности корпоративного уровня в различных средах развертывания, от облака до периферии. Базовая модель была обучена на наборе данных из 8 триллионов токенов, включающем 6,5 триллионов токенов общих данных предварительного обучения, за которыми следуют 1,5 триллиона токенов данных промежуточного обучения с повышенным вниманием к математическим рассуждениям и генерации кода. После предварительного обучения модель прошла контролируемую тонкую настройку на высококачественных наборах данных инструкций. Модель, настроенная на инструкции, была дополнительно усовершенствована посредством обучения с подкреплением на проверяемых вознаграждениях, а также на человеческих предпочтениях. Мы используем модифицированную версию TorchTitan для предварительного обучения, Axolotl для контролируемой точной настройки и модифицированную версию Verifiers для обучения с подкреплением. При разработке AFM-4.5B качество данных было приоритетным требованием для достижения надежной работы модели. Мы сотрудничали с компанией DatologyAI…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: arcee-ai
Теги: nlp, openvino, en, es, fr, de, it, pt
Лайков: 8 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
