OpenLLM-France/Luciole-23B-Instruct-1.1-FP8 - Каталог нейросетей
Генерация текста

OpenLLM-France/Luciole-23B-Instruct-1.1-FP8

Добавлено:
OpenLLM-France/Luciole-23B-Instruct-1.1-FP8

Luciole-23B-Instruct-1.1-FP8 is a FP8-quantized version of Luciole-23B-Instruct-1.1 in the transformers / compressed-tensors (https://github.com/neuralmagic/compressed-tensors) format, quantized with LLM Compressor (https://github.com/vllm-project/llm-compressor). It is intended to be served with vLLM (https://github.com/vllm-project/vllm): FP8 acceleration requires a GPU with native FP8 support (NVIDIA Hopper, Ada Lovelace, or Blackwell).

Модальности:
Генерация текста

Области применения:
Диалог / чат Следование инструкциям


Задача: Генерация текста
Автор: OpenLLM-France
Теги: nemotron, openllm-france, conversational, fr, en, compressed-tensors
Лайков: 4  |  Загрузок: 67

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.