Репозиторий GitHub | Технический отчет 👋 Присоединяйтесь к нам в Discord и WeChat BitCPM-CANN — это первая комплексная 1,58-битная (троичная) система обучения большой языковой модели, изначально созданная на базе Huawei Ascend NPU. Система интегрирует обучение с учетом квантования (QAT) в структуру Megatron-LM с ускорением MindSpeed, охватывая полный комплекс обучения: от пользовательских троичных операторов до распределенного параллельного обучения на Ascend 910B. Мы обучаем семейство из четырех моделей — BitCPM-CANN-0.5B/1B/3B/8B — и сравниваем их с их высокоточными аналогами MiniCPM4 в 11 тестах. Модели 1B/3B/8B сохраняют производительность полной точности на уровне 95,7–97,2%, обеспечивая при этом сокращение памяти примерно в 6 раз во время вывода. QAT приводит к увеличению пропускной способности обучения всего на 5 % (148 против 155 терафлопс/с на NPU). — 🔬 1,58-битное троичное квантование: сжимает веса модели до троичных значений {-1, 0, 1}, достигая уменьшения разрядности примерно на 90 % по сравнению с BF16. — 🖥️ Обучение на собственном Ascend NPU: впервые публично сообщалось об 1,58-битном обучении на отечественной платформе NPU в масштабе 8B, создав многоразовую низкобитную тренировочную инфраструктуру для экосистемы Ascend. — ⚡ Минимальные затраты на обучение: снижение пропускной способности всего на 5 %…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openbmb
Теги: llama, conversational, zh, en, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 5,089
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
