deepseek-ai-DeepSeek-V4-Flash-4bit
Эта модель mlx-community/deepseek-ai-DeepSeek-V4-Flash-4bit была конвертирована в формат MLX из deepseek-ai/DeepSeek-V4-Flash с использованием mlx-lm версии 0.31.3. Модальности:Генерация текста Задача:...
Эта модель mlx-community/deepseek-ai-DeepSeek-V4-Flash-4bit была конвертирована в формат MLX из deepseek-ai/DeepSeek-V4-Flash с использованием mlx-lm версии 0.31.3. Модальности:Генерация текста Задача:...
Небольшая копия архитектуры DeepSeek-V4 с переносом веса. Тензоры были вырезаны (или, если формы уже совпадали, скопированы дословно) из...
Это контрольная точка DeepSeek-V4-Flash-DSpark — модель MoE 284B с модулем спекулятивного декодирования (DSpark), настроенная и оцененная с помощью...
— Вывод текста: ~30 токенов/с @ 2000 токенов ~95,49 ГиБ (отладочная сборка) Q2.8-INF использует независимый от данных метод...
— Базовая модель: deepseek-ai/DeepSeek-V4-Flash — Исходная версия: 6e763230a9d263eca2023f1d4a5ce1bfe126cf48 — Архитектура: DeepseekV4ForCausalLM — Тип модели: deepseekv4` — Ветка инструментов:...
W4A16 INT4 маршрутизирует экспертов + блок FP8 128×128 внимания + черновой заголовок BF16 Multi-Token Prediction (MTP) сохранен —...
Если вам недостаточно памяти графического процессора, мы рекомендуем протестировать ее с использованием памяти процессора. Вы можете подписаться на...
DeepSeek-V4-Flash — 79,6 ГБ на диске (по сравнению с 149 ГБ источника FP4+FP8) — единообразное 2-битное квантование JANGTQ...
Эта модель mlx-community/deepseek-ai-DeepSeek-V4-Flash-8bit была преобразована в формат MLX из deepseek-ai/DeepSeek-V4-Flash с использованием mlx-lm версии 0.31.3. Модальности:Генерация текста Задача:...
Модель генерации текста Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: mlx-community Теги: mlx, deepseek_v4, conversational,...