Квантование AWQ: выполнено stelterlab в INT4 GEMM с AutoAWQ от casper-hansen (https://github.com/casper-hansen/AutoAWQ/). Исходные веса от Mistral AI. Ниже представлена карта оригинальной модели: Mistral Small 3 (2501) устанавливает новый стандарт в категории «маленьких» больших языковых моделей ниже 70B, имея параметры 24B и достигая самых современных возможностей, сравнимых с более крупными моделями! Данная модель представляет собой доработанную по инструкции версию базовой модели: Mistral-Small-24B-Base-2501. Mistral Small можно развернуть локально, он исключительно «научен» и помещается в один RTX 4090 или MacBook с 32 ГБ ОЗУ после квантования. Идеально подходит для: — Диалоговых агентов быстрого реагирования. — Вызов функции с низкой задержкой. — Эксперты в предметной области посредством тонкой настройки. — Локальный вывод для любителей и организаций, работающих с конфиденциальными данными. Для предприятий, которым необходимы специализированные возможности (расширенный контекст, определенные методы, знания в конкретной области и т. д.), мы будем выпускать коммерческие модели, выходящие за рамки того, что Mistral AI вносит в сообщество. Этот выпуск демонстрирует нашу приверженность открытому исходному коду и служит надежной базовой моделью. — Многоязычность: поддерживает десятки языков, включая…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: stelterlab
Теги: vllm, mistral, conversational, en, fr, de, es, it
Лайков: 29 | Загрузок: 429,212
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
