> [!ВНИМАНИЕ] > Нарушение: > Со времени появления первых версий этого скрипта было внесено много небольших изменений, из-за этого он не будет работать как есть, но служит основой для улучшения и работы над ним. > [!TIP] > Сообщество AetherArchitectural: > Теперь в AetherArchitectural/GGUF-Quantization-Script. > > Авторы: > Сделано с любовью @Aetherarchio/@FantasiaFoundry/@Lewdiculous при щедром вкладе @SolidSnacke и @Virt-io. > Если это окажется для вас полезным, не стесняйтесь указать и поделиться репозиторием и авторами. > [!NOTE] > Поддержка Linux (экспериментальная): > Существует экспериментальный скрипт для Linux, gguf-imat-lossless-for-BF16-linux.py [[context]](https://huggingface.co/FantasiaFoundry/GGUF-Quantization-Script/discussions/32#66b476238bbe6a86a0228553). > Хотя я лично не могу это подтвердить, попробовать стоит, и вы сможете сообщить, насколько хорошо это сработало или нет в вашем случае. > Улучшения приветствуются! Всегда приветствуются запросы на включение с вашими собственными функциями и улучшениями этого скрипта. Простой скрипт Python (gguf-imat.py — я рекомендую использовать специальные скрипты «for-FP16» или «for-BF16») для генерации различных квантований GGUF-IQ-Imatrix из Hugging…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: AetherArchitectural
Теги: gguf, quantized, text-generation-inference
Лайков: 69 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
