🤗 Обнимающее лицо | 🤖 ModelScope | Технический отчет Ling-2.6-flash-base — это базовая контрольная точка модели Ling-2.6-flash. Это языковая модель «Смесь экспертов» в масштабе флэш-памяти, модифицированная на основе базовой контрольной точки Ling-2.0 с гибридной линейной схемой внимания, непрерывным предварительным обучением и промежуточным обучением в длительном контексте. Этот выпуск предназначен для исследований, непрерывного предварительного обучения, дистилляции и контролируемой или на основе предпочтений тонкой настройки. Это не модель помощника, ориентированная на чат. Если вам нужна готовая модель инструкций, используйте вместо этого соответствующую контрольную точку Ling-2.6-flash после обучения. Ling-2.6-flash-base предназначен для эффективного моделирования с мгновенным откликом и более высокой эффективностью в длинном контексте, чем предыдущее поколение Ling-2.0 на базе GQA. Основное обновление представляет собой гибридную модификацию внимания, которая сочетает в себе Lightning Attention и MLA в соотношении 7:1, а также плавный конвейер миграции с исходной архитектуры. Базовые модели Ling-2.6 обучаются с помощью примерно 9,6Т токенов в ходе предварительного обучения миграции, непрерывного предварительного обучения и промежуточного обучения с поэтапным расширением контекста от 4 КБ до 256 КБ. Лин-2,6-база со вспышкой…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inclusionAI
Теги: bailing_hybrid, conversational, custom_code, fp8
Лайков: 8 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
