Предупреждение: в llama.cpp b6607 и более поздних версиях изменение внутреннего кода cuda приведет к другим результатам генерации, даже если эксперты перегружены на ЦП, и может привести к снижению производительности моделей. Понижение версии до b6606 и ниже восстановит производительность, достигнутую при оптимизации гибридных квантов. Гибридный квантователь использует разные уровни квантования для каждого слоя, чтобы одновременно обеспечить высокую производительность и небольшой размер файла. Этот конкретный квант достигает ~56G gguf по сравнению с ~57G gguf Q3KM с улучшенной производительностью рассуждения. Все используемые кванты имеют размер K, чтобы избежать медленной обработки квантов IQ процессором. Для этого файла кванты слоя Q4KH следующие: Эти кванты были выбраны путем оптимизации производительности с помощью набора тщательно подобранных тестовых подсказок, проверяющих знания и способности к рассуждению при определении размера модели, чтобы ее можно было запустить на машине с 64 ГБ ОЗУ. Этот количественный анализ также был оптимизирован с помощью набора тщательно подобранных тестовых подсказок и демонстрирует как веские аргументы, так и хорошие знания. Последний уровень 46 в этом кванте был явно установлен на Q2KS, поскольку этот уровень предназначен для предсказания нескольких токенов и в настоящее время не используется. Это не повлияет на производительность, но сэкономит…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: steampunque
Теги: gguf, zai, GLM, quantized, 4-bit, endpoints_compatible, conversational
Лайков: 6 | Загрузок: 193
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
