Репозиторий GitHub | Технический отчет 👋 Присоединяйтесь к нам в Discord и WeChat BitCPM-CANN-8B-unquantized — это неквантованная контрольная точка QAT (обучение с учетом квантования) BitCPM-CANN-8B, предназначенная для непрерывного предварительного обучения и тонкой настройки. Он сохраняет скрытые веса полной точности с помощью троичных фальшивых квантователей (веса → {-1, 0, 1} с групповым масштабированием, обученных через STE), определенных в modeling.py, что позволяет модели продолжать обучение в условиях ограничений квантования. Технические подробности см. в нашем техническом отчете. > ⚠️ Эта модель НЕ предназначена для прямого вывода. Для вывода используйте псевдоквантованную версию: openbmb/BitCPM-CANN-8B. Единственное требование состоит в том, что прямой проход должен проходить через связанный файл modeling.py (который содержит троичный поддельный квантователь). Загрузите с параметромtrustremotecode=True и НЕ заменяйте и не обходите логику пересылки модели. Мы предоставляем готовые к использованию сценарии обучения в каталоге примеров (на примере модели 1B): — Продолжение предварительного обучения: example/run.sh + example/train.py — SFT (контролируемая точная настройка): example/runsft.sh + example/trainsft.py Можно использовать любую платформу, поддерживающую загрузку модели HuggingFace с помощью специального кода, например LLaMA Factory, HuggingFace…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openbmb
Теги: minicpm, conversational, custom_code, zh, en
Лайков: 5 | Загрузок: 1,584
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
