Исправление ошибки конфигурации: недавно была обнаружена и исправлена ошибка в конфигурации Transformers оригинальной модели, которая распространилась до первоначального выпуска GGUF. Этот репозиторий теперь обновлен с новыми фиксированными весами/конфигурацией. Влияние: пользователи будут испытывать лучшую, более стабильную производительность. Требуется действие:** Если вы используете более старую версию, настоятельно рекомендуется извлечь последние файлы из этого репозитория. Спасибо сообществу за предупреждение! Этот репозиторий содержит квантованную версию Q4KM GGUF Mistral-Medium-3.5-128B. Базовая модель: mistralai/Mistral-Medium-3.5-128B Уровень квантования: Q4KM (хорошее качество, рекомендуемый баланс размера и производительности). Общий размер файла: ~ 74,9 ГБ памяти Требуется: минимум ~85 ГБ общей объединенной памяти (RAM VRAM) для загрузки модели и поддержания полезного контекстного окна. Рекомендуемая настройка:** Apple Silicon (серия M с унифицированной памятью 96 ГБ/128 ГБ) или установки с несколькими GPU (например, 4x 3090/4090) для полной разгрузки VRAM. Эта модель требует, чтобы стандартный формат инструкций Mistral функционировал правильно и избегал галлюцинаций или сбоев. text [SYSTEMPROMPT]{systemprompt}[/SYSTEMPROMPT][MODELSETTINGS]{«reasoningeffort»:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Abiray
Теги: gguf, llama.cpp, mistral, quantization, endpoints_compatible, conversational
Лайков: 4 | Загрузок: 85
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
