— Архитектура модели: ApertusForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование веса: FP8 — Квантование активации: FP8 — Дата выпуска: 18 сентября 2025 г. — Версия: 1.0 — Разработчики модели: Red Hat — URI хранилища ModelCar: oci://registry.redhat.io/rhai/modelcar-apertus-8b-instruct-2509-fp8-dynamic:3.0 — проверено в RHOAI 3.2: quay.io/modh/vllm:rhoai-3.2-cuda — проверено в RHAIIS 3.2.5: http://registry.redhat.io/rhaiis/vllm-cuda-rhel9:3.2.5-1766067105 — проверено на vLLM: 0.11.2. Эта модель была получена путем квантования весов и активаций swiss-ai/Apertus-8B-2509 в тип данных FP8. Эта оптимизация уменьшает количество бит на параметр с 16 до 8, уменьшая размер диска и требования к памяти графического процессора примерно на 50%. Квантуются только веса и активации линейных операторов внутри блоков преобразователей. Эта модель была создана с помощью llm-compressor путем выполнения приведенного ниже фрагмента кода. Модель была оценена в таблице лидеров OpenLLM V1 с использованием следующей команды: Категория Metric swiss-ai/Apertus-8B-Instruct-2509 RedHatAI/Apertus-8B-Instruct-2509-FP8-dynamic Recovery (%) OpenLLM V1 ARC-Challenge (Acc-Norm, 25-shot) 65,02 65,59 101,4 …
Модальности:
Генерация текста
Области применения:
Диалог / чат Мультиязычность Следование инструкциям
Задача: Генерация текста
Автор: RedHatAI
Теги: apertus, multilingual, compliant, swiss-ai, fp8, vllm, compressed-tensors, llm-compressor
Лайков: 5 | Загрузок: 1,654
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
