Репозиторий GitHub | Технический отчет 👋 Присоединяйтесь к нам в Discord и WeChat > В этом репозитории размещена квантованная версия BitCPM-CANN-1B GGUF (llama.cpp). Для получения информации о псевдоквантованных весах и полной модели карты см. BitCPM-CANN-1B. BitCPM-CANN — это первая комплексная 1,58-битная (троичная) система обучения большой языковой модели, изначально созданная на базе Huawei Ascend NPU. Система интегрирует обучение с учетом квантования (QAT) в структуру Megatron-LM с ускорением MindSpeed, охватывая полный комплекс обучения: от пользовательских троичных операторов до распределенного параллельного обучения на Ascend 910B. Мы обучаем семейство из четырех моделей — BitCPM-CANN-0.5B/1B/3B/8B — и сравниваем их с их высокоточными аналогами MiniCPM4 в 11 тестах. Модели 1B/3B/8B сохраняют производительность полной точности на уровне 95,7–97,2%, обеспечивая при этом сокращение памяти примерно в 6 раз во время вывода. QAT приводит к увеличению пропускной способности обучения всего на 5 % (148 против 155 терафлопс/с на NPU). — 🔬 1,58-битное троичное квантование: сжимает веса модели до троичных значений {-1, 0, 1}, достигая уменьшения разрядности примерно на 90 % по сравнению с BF16. — 🖥️ Обучение Native Ascend NPU: первая публично опубликованная попытка обучения 1,58-битной версии…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openbmb
Теги: gguf, zh, en, endpoints_compatible, conversational
Лайков: 6 | Загрузок: 324
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
