MikeRoz/GLM-4.6-exl3 - Каталог нейросетей
Генерация текста

MikeRoz/GLM-4.6-exl3

Добавлено:
MikeRoz/GLM-4.6-exl3

2,06 bpw h6 86,376 ГиБ 2,25 bpw h6 94,139 ГиБ Файл измерений, использованный при создании вышеизложенного: Measure-20-vs-30.json exllamav3 включает сценарий измерения util/measure.py, который будет сравнивать две модели exllamav3 модуль за модулем с исходной моделью. Цель состоит в том, чтобы увидеть, на какие модули больше всего влияет снижение точности, связанное с переходом от большего кванта к меньшему. Где: уровень — это целое число от 0 до 3, определяющее разрешение измерения. 0 — самый быстрый, но наименее детализированный, 2 — значение по умолчанию, 3 — наиболее детальный и самый медленный. устройство — это индекс устройства CUDA, которое будет выполнять работу. maxsysmemory — это объем памяти, который можно использовать для данных о состоянии для ускорения работы, в ГиБах path/to/quant1 и path/to/quant2 — это пути к двум квантам для сравнения path/to/originalmodel — это путь к исходной модели path/to/measurement.json` — это путь к результирующему файлу измерений json Файл измерения, который я создал выше для сравнения 2.0bpwH6 и мои кванты 3.0bpwH6. Затем вы можете передать этот файл измерений вместе с двумя квантовами в util/optimize.py для создания оптимизированных квантов, которые извлекают модули из обоих квантов, где…

Модальности:
Генерация текста


Задача: Генерация текста
Автор: MikeRoz
Теги: exllamav3, exl3, en, zh
Лайков: 11  |  Загрузок: 4

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.