— Архитектура модели: LlamaForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование веса: FP8 — Квантование активации: FP8 — Дата выпуска: 6 февраля 2025 г. — Версия: 1.0 — Разработчики модели: Neural Magic Эта модель была получена путем квантования весов и активаций DeepSeek-R1-Distill-Llama-70B в тип данных FP8. Эта оптимизация уменьшает количество бит на параметр с 16 до 8, уменьшая размер диска и требования к памяти графического процессора примерно на 50%. Квантуются только веса и активации линейных операторов внутри блоков преобразователей. Веса квантуются с использованием симметричной поканальной схемы, тогда как квантования квантоваются с использованием симметричной потоконной схемы. LLM Compressor используется для квантования. Эту модель можно эффективно развернуть с помощью серверной части vLLM, как показано в примере ниже. vLLM также поддерживает обслуживание, совместимое с OpenAI. Более подробную информацию смотрите в документации. Эта модель была создана с помощью llm-compressor путем выполнения приведенного ниже фрагмента кода. Модель была оценена в OpenLLM Leaderboard V1 и V2 с использованием следующих команд: Category Metric deepseek-ai/DeepSeek-R1-Distill-Llama-8B…
Модальности:
Генерация текста
Области применения:
Диалог / чат Логика и рассуждение
Задача: Генерация текста
Автор: RedHatAI
Теги: llama, deepseek, fp8, vllm, conversational, text-generation-inference, endpoints_compatible, compressed-tensors
Лайков: 5 | Загрузок: 561
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
