— Архитектура модели: LlamaForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование: INT4 — Дата выпуска: 7 февраля 2025 г. — Версия: 1.0 — Разработчики модели: Neural Magic Эта модель была получена путем квантования весов DeepSeek-R1-Distill-Llama-70B до типа данных INT4. Эта оптимизация уменьшает количество бит на параметр с 16 до 4, уменьшая размер диска и требования к памяти графического процессора примерно на 75%. Квантуются только веса линейных операторов внутри блоков преобразователей. Веса квантуются с использованием симметричной схемы для каждой группы с размером группы 128. Для квантования применяется алгоритм GPTQ, реализованный в библиотеке llm-compressor. Эту модель можно эффективно развернуть с помощью серверной части vLLM, как показано в примере ниже. vLLM также поддерживает обслуживание, совместимое с OpenAI. Более подробную информацию смотрите в документации. Эта модель была создана с помощью llm-compressor путем выполнения приведенного ниже фрагмента кода. Модель была оценена в таблице лидеров OpenLLM V1 и V2 с использованием следующих команд: Category Metric deepseek-ai/DeepSeek-R1-Distill-Llama-70B Neuralmagic/DeepSeek-R1-Distill-Llama-70B-quantized.w4a16 Обоснование восстановления AIME 2024 (pass@1)…
Модальности:
Генерация текста
Области применения:
Диалог / чат Логика и рассуждение
Задача: Генерация текста
Автор: RedHatAI
Теги: llama, deepseek, int4, vllm, llmcompressor, conversational, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 6,781
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
