AFM-4.5B-Base-Pre-Anneal — это настраиваемая инструкциями модель с 4,5 миллиардами параметров, разработанная Arcee.ai, предназначенная для повышения производительности корпоративного уровня в различных средах развертывания от облака до периферии. Базовая модель была обучена на наборе данных из 6,5 триллионов токенов общих данных предварительного обучения. Мы используем модифицированную версию TorchTitan для предварительного обучения. При разработке AFM-4.5B приоритет отдавался качеству данных как фундаментальному требованию для достижения надежной производительности модели. Мы сотрудничали с DatologyAI, компанией, специализирующейся на крупномасштабном курировании данных. Конвейер курирования DatologyAI объединяет набор проприетарных алгоритмов — фильтрацию качества на основе моделей, курирование на основе вложений, сопоставление целевого распределения, смешивание источников и синтетические данные. Их опыт позволил создать кураторский набор данных, адаптированный для поддержки высокой производительности в реальном мире. Архитектура модели соответствует стандартной конструкции декодера только для трансформатора, основанной на Vaswani et al., включающей несколько ключевых модификаций для повышения производительности и эффективности. Известные архитектурные особенности включают сгруппированное внимание к запросам для повышения эффективности вывода и функции активации ReLU^2 вместо SwiGLU для…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: arcee-ai
Теги: arcee, en, es, fr, de, it, pt, ru
Лайков: 3 | Загрузок: 284
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
