DeepScaleR-1.5B-6.5bit
This works well as a draft model for speculative decoding in LMstudio 3.10 beta Try it with: mlx-community/FuseO1-DeepSeekR1-Qwen2.5-Coder-32B-4.5bit...
Метка: 6-bit
Captain-Eris_Violet_Toxic-Magnum-12B-GGUF
— Model creator: Nitral-AI — Original model: Nitral-AI/Captain-ErisVioletToxic-Magnum-12B MaziyarPanahi/Captain-ErisVioletToxic-Magnum-12B-GGUF contains GGUF format model files for Nitral-AI/Captain-ErisVioletToxic-Magnum-12B. GGUF is...
Qwen2.5-14B-DeepSeek-R1-1M-Uncensored-Q6_K-GGUF
Repo: roleplaiapp/Qwen2.5-14B-DeepSeek-R1-1M-Uncensored-Q6K-GGUF Original Model: Qwen2.5-14B-DeepSeek-R1-1M-Uncensored Quantized File: Qwen2.5-14B-DeepSeek-R1-1M-Uncensored.Q6K.gguf Quantization: GGUF Quantization Method: Q6K` This is a GGUF Q6_K...
DeepSeek-R1-Distill-Llama-70B-6bit
The Model mlx-community/DeepSeek-R1-Distill-Llama-70B-6bit was converted to MLX format from deepseek-ai/DeepSeek-R1-Distill-Llama-70B using mlx-lm version 0.21.1. Модальности:Генерация текста Области применения:Диалог...
Sailor2-1B-Chat-GGUF
— Model creator: sail — Original model: sail/Sailor2-1B-Chat MaziyarPanahi/Sailor2-1B-Chat-GGUF contains GGUF format model files for sail/Sailor2-1B-Chat. GGUF is...
QwQ-32B-Preview-6bit
The Model mlx-community/QwQ-32B-Preview-6bit was converted to MLX format from Qwen/QwQ-32B-Preview using mlx-lm version 0.20.1. Модальности:Генерация текста Области применения:Диалог...
SmolLM2-1.7B-Instruct-GGUF
— Model creator: HuggingFaceTB — Original model: HuggingFaceTB/SmolLM2-1.7B-Instruct MaziyarPanahi/SmolLM2-1.7B-Instruct-GGUF contains GGUF format model files for HuggingFaceTB/SmolLM2-1.7B-Instruct. GGUF is...
Mistral-Small-Instruct-2409-GGUF
— Создатель модели: mistralai — Исходная модель: mistralai/Mistral-Small-Instruct-2409 MaziyarPanahi/Mistral-Small-Instruct-2409-GGUF содержит файлы моделей формата GGUF для mistralai/Mistral-Small-Instruct-2409. GGUF —...
reader-lm-0.5b-GGUF
— Создатель модели: jinaai — Исходная модель: jinaai/reader-lm-0.5b arcee-train/reader-lm-0.5b-GGUF содержит файлы модели формата GGUF для jinaai/reader-lm-0.5b. GGUF —...
NemoMix-Unleashed-EXL2-6bpw
Маринара сказала, что они провели много тестов по этому вопросу, поэтому я вполне уверен, что подсчитаю это здесь....