Тип данных INT8 удобен и эффективен для большинства аппаратных платформ. При бенчмаркинге мы не наблюдаем потери точности и повышения производительности до 50 %. SGLang скоро будет поддерживать операцию квантования INT8 по каналам, как только наш PULL REQUEST будет объединен. Масштабы квантования определяются путем деления максимума значений элемента по каналу на максимум типа INT8. Чтобы сгенерировать этот вес, запустите предоставленный скрипт в каталоге ./inference: python3 bf16castchannelint8.py —input-bf16-hf-path /path/to/bf16-weights/ —output-int8-hf-path /path/to/save-int8-weight/ « Перед выводом вы должны убедиться, что в config.json нет атрибута «quantizationconfig». Пост-обучение: крупномасштабное обучение с подкреплением на базовой модели. Мы напрямую применяем обучение с подкреплением (RL) к базовой модели, не полагаясь на контролируемую точную настройку (SFT) в качестве предварительного шага. Этот подход позволяет модели исследовать цепочку мыслей (CoT) для решения сложных проблем, что привело к разработке DeepSeek-R1-Zero. DeepSeek-R1-Zero демонстрирует такие возможности, как самопроверка, отражение и создание длинных CoT, что знаменует собой важную веху для…
Модальности:
Генерация текста
Области применения:
Диалог / чат Логика и рассуждение
Задача: Генерация текста
Автор: meituan
Теги: deepseek_v3, conversational, custom_code, text-generation-inference, endpoints_compatible, 8-bit
Лайков: 32 | Загрузок: 459
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
