AMD рада представить Instella-Long, модель длинноконтекстного языка, постоянно обучаемую с помощью Instella-3B-Instruct на графических процессорах AMD Instinct™ MI300X. Насколько нам известно, Instella-Long делает серию Instella первой полностью открытой языковой моделью, обученной с нуля и поддерживающей длинный контекст. Instella-Long может поддерживать длину контекста 128 КБ и достигать конкурентоспособной производительности, превосходя модели с открытым весом, такие как Phi-3.5-mini, Gemma-3-4B и Qwen2.5-3B, в тесте длинного контекста. Обучая Instella с помощью расширенного контекста на графических процессорах Instinct MI300X, мы подчеркиваем возможности и масштабируемость нашего оборудования при обработке требовательных рабочих нагрузок по обучению ИИ, предлагая жизнеспособную альтернативу в сфере аппаратного обеспечения ИИ. В соответствии с приверженностью AMD к открытому исходному коду мы делимся всеми весами моделей, подробными конфигурациями обучения, наборами данных и кодом, что позволяет сообществу ИИ сотрудничать, копировать и внедрять инновации, тем самым ускоряя прогресс. — Анонс Instella-Long, 3B длинноконтекстной языковой модели с поддержкой длины контекста 128 КБ, разработанной AMD и обученной на 64 графических процессорах Instinct MI300X. — Насколько нам известно, Instella-Long делает серию Instella первым полностью открытым языком…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: amd
Теги: instella, conversational, custom_code
Лайков: 5 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
