— требуется #8604 и последняя версия мастер-файла с исправлениями токенизатора tekken — квантования выполняются с использованием матрицы важности для уменьшения потерь при квантовании — квантованные ggufs и imatrix от hf bf16 до bf16. savetensors bf16 -> gguf bf16 -> quant для оптимальной потери квантов. — Широкий охват различных типов квантов gguf от Q8 до IQ1S — экспериментальные пользовательские типы квантов — L с —output-tensor-type f16 —token-embedding-type f16` (так же, как у Бартовски) — Imatrix, созданный с помощью этого многоцелевого набора данных Бартовски.
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: qwp4w3hyb
Теги: gguf, mistral, instruct, imatrix, en, endpoints_compatible, conversational
Лайков: 6 | Загрузок: 103
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
