DeepSeek-V3-5layer
Модель генерации текста Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: chwan Теги: deepseek_v3, DeepSeek, DeepSeek-V3,...
Модель генерации текста Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: chwan Теги: deepseek_v3, DeepSeek, DeepSeek-V3,...
This model converted from DeepSeek-R1 to BF16. Here we simply provide the conversion command and related information about...
— Model Architecture: Qwen2ForCausalLM — Input: Text — Output: Text — Model Optimizations: — Weight quantization: FP8 —...
— Model Architecture: DeepSeek-R1-Distill-Llama-70B — Input: Text — Output: Text — Model Optimizations: — Weight quantization: FP8 —...
FP8-quantized version of DeepSeek-R1-Distill-Qwen-14B, optimized for inference with vLLM. The quantization reduces the model’s memory footprint by approximately...
— Model Architecture: Llama-3.1-Nemotron — Input: Text — Output: Text — Model Optimizations: — Weight quantization: FP8 —...
— Model Architecture: Meta-Llama-3.2 — Input: Text — Output: Text — Model Optimizations: — Weight quantization: FP8 —...
This model was obtained by quantizing the weights and activations of Bielik-11B-v.2.2-Instruct to FP8 data type, ready for...
— Model Architecture: Meta-Llama-3.1 — Input: Text — Output: Text — Model Optimizations: — Weight quantization: FP8 —...
Преобразованная и квантованная контрольная точка nvidia/Nemotron-4-340B-Instruct. В частности, он был получен из контрольной точки v1.0 .nemo на NGC....