Nemotron-4-340B-Instruct-hf-FP8
Преобразованная и квантованная контрольная точка nvidia/Nemotron-4-340B-Instruct. В частности, он был получен из контрольной точки v1.0 .nemo на NGC....
Преобразованная и квантованная контрольная точка nvidia/Nemotron-4-340B-Instruct. В частности, он был получен из контрольной точки v1.0 .nemo на NGC....
FP8 квантованная контрольная точка nvidia/Minitron-8B-Base для использования с vLLM. Модальности:Генерация текста Задача: Генерация текста Автор: mgoin Теги: nemotron,...
FP8 квантованная контрольная точка nvidia/Minitron-4B-Base для использования с vLLM. Модальности:Генерация текста Задача: Генерация текста Автор: mgoin Теги: nemotron,...
— Model Architecture: Mistral-7B-Instruct-v0.3 — Input: Text — Output: Text — Model Optimizations: — Weight quantization: FP8 —...
Meta-Llama-3-70B-Instruct quantized to FP8 weights and activations using per-tensor quantization, ready for inference with vLLM >= 0.5.0. This...
— Model Architecture: Qwen2 — Input: Text — Output: Text — Model Optimizations: — Weight quantization: FP8 —...
— Model Architecture: Mixtral-8x22B-Instruct-v0.1 — Input: Text — Output: Text — Model Optimizations: — Weight quantization: FP8 —...
— Model Architecture: Mixtral-8x7B-Instruct-v0.1 — Input: Text — Output: Text — Model Optimizations: — Weight quantization: FP8 —...
A local AI team, built around AMD Strix Halo. Ornith1.5 Ciru Halo Agent combines a custom quantization of...
> Use this image: September 9 reference stack > verdictai/trellismx:glm53-flash-p8-r27-reference-20260909 > This is the selected serving image for...