  🤗 Обнимающее лицо   |    📑 Бумага    🖥️ Демо   |   💬 WeChat (微信)   |   📕 rednote   — 2025.06.06: Мы выпустили серию dots.llm1. Подробности смотрите в нашем отчете! Модель dots.llm1 — это крупномасштабная модель MoE, которая активирует 14B параметров из 142B, обеспечивая производительность на уровне современных моделей. Используя наш тщательно продуманный и эффективный конвейер обработки данных, dots.llm1 достигает производительности, сравнимой с Qwen2.5-72B, после предварительного обучения на высококачественном корпусе без синтетических данных. Чтобы способствовать дальнейшим исследованиям, мы открываем контрольные точки промежуточного обучения с открытым исходным кодом, охватывающие весь процесс обучения, что дает ценную информацию о динамике обучения больших языковых моделей. Этот репозиторий содержит базовую и настроенную с помощью инструкций модель dots.llm1. который имеет следующие особенности: — Тип: модель MoE с активированными 14B и общими параметрами 142B, обученными на высококачественном корпусе. — Этапы обучения: предварительная подготовка и SFT. — Архитектура: внимание нескольких руководителей с QK-Norm на уровне внимания, детально детализированное МО, использующее 6 лучших из 128 направленных экспертов, а также 2 общих эксперта. -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rednote-hilab
Теги: dots1, chat, conversational, en, zh, endpoints_compatible
Лайков: 176 | Загрузок: 5,580
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
