> [!Note] > У нас в Mistral пока не так уж много опыта в предоставлении сообществу квантованных GGUF контрольных точек, но мы хотим помочь улучшить экосистему в будущем. > Если у вас возникнут какие-либо проблемы с предоставленными здесь контрольными точками, откройте обсуждение или запрос на включение. Создание на основе Mistral Small 3.1 (2503) с добавленными возможностями рассуждения, прохождением SFT из трасс Magistral Medium и RL сверху, это небольшая эффективная модель рассуждения с 24B параметрами. Magistral Small можно развернуть локально, вложив в один RTX 4090 или MacBook с 32 ГБ ОЗУ после квантования. Это ГГУФ-версия модели Магистраль-Малый-2507. Мы выпустили веса BF16, а также следующий квантованный формат: — Q80 — Q5KM — Q4KM В нашем формате нет шаблона чата, и вместо него мы рекомендуем использовать mistral-common`. Magistral Small 1.1 должен обеспечить примерно такую же производительность, как Magistral Small 1.0, как видно из результатов тестов. Обновление включает в себя следующие функции: — Улучшенный тон и поведение модели. Вам следует поэкспериментировать с лучшим форматированием LaTeX и Markdown, а также с более короткими ответами на простые общие подсказки. — Модель с меньшей вероятностью войдет в бесконечное поколение…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mistralai
Теги: llama.cpp, gguf, en, fr, de, es, pt, it
Лайков: 13 | Загрузок: 60
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
