— ~Требуется последняя версия мастера + PR для масштабирования веревки.~ Масштабирование веревкой объединено, поэтому теперь требуется только последний мастер. — Кванты выполняются с использованием матрицы важности для уменьшения потерь при квантовании. — Квантованные ggufs и imatrix от hf bf16 до bf16. savetensors bf16 -> gguf bf16 -> quant для оптимальной потери квантов. — Широкий охват различных типов квантов gguf от Q8 до IQ1S — экспериментальные пользовательские типы квантов — L с —output-tensor-type f16 —token-embedding-type f16`, что предположительно приводит к большей точности. — Imatrix, созданный с помощью этого многоцелевого набора данных Бартовски.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: qwp4w3hyb
Теги: gguf, facebook, meta, llama, llama-3, imatrix, en, de
Лайков: 8 | Загрузок: 323
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
