Новейшая модель Mistralai «Mistral-Small-3.1-24B-Instruct-2503» с «Neo Imatrix» и квантованием «Maxed out» для улучшения общей производительности. Как и почти все модели Mistralai, эта модель практически не подвергается цензуре. Я включил 3 различных системных подсказки, чтобы помочь этой модели оживить. Это означает, что для всех квантов установлено значение «BF16» (полная точность) для встроенного и выходного тензора. Это повышает качество, глубину и общую производительность за счет немного большего количества. Мощный, собственный набор данных imatrix, созданный David_AU, который приводит к улучшению общей функциональности, следованию инструкциям, качеству вывода и более прочным связям с идеями, концепциями и миром в целом. Это сочетается с «MAXing» квантами для улучшения производительности. На этой диаграмме показан порядок в терминах «BPW» для каждого кванта (отображенного ниже с относительной «силой» друг относительно друга) с «IQ1S» с наименьшим значением и «Q80» (F16 — полная точность) с наибольшим: IQ1S | IQ1M IQ2XXS | IQ2XS | Q2KS | IQ2S | Q2K | IQ2M IQ3XXS | Q3KS | IQ3XS | IQ3S | IQ3M | Q3KM | Q3KL Q4KS | IQ4XS | IQ4NL | Q4KM Q5KS | Q5KM Q6K Q8_0 F16 Рекомендовать квантования IQ3s / IQ4XS / IQ4NL / Q4s для достижения наилучших результатов в творческих случаях использования. Я также…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, Mistral, Mistral 2503, instruct, 128k context, all use cases, maxed quants, Neo Imatrix
Лайков: 38 | Загрузок: 1,262
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
