Этот репозиторий содержит квантованную версию модели 1bitLLM/bitnetb158-3B. Хотя исходный репозиторий демонстрирует впечатляющие результаты проверки, он имитирует линейные слои BitNet, в результате чего использование памяти аналогично моделям fp16. Используя модуль QuantLinear из AutoGPTQ, этот репозиторий позволяет выводить и выполнять 2-битную квантованную модель. Квантованная модель предлагает значительные преимущества с точки зрения размера модели и потребления памяти. При размере модели всего 1 ГБ квантованная 3B-модель может выполнять логический вывод с размером контекста 2048, потребляя при этом всего 4,5 ГБ видеопамяти. Более того, поскольку веса, используемые во время выполнения, такие же, как и в исходном репозитории, выходные данные недоумения (PPL) остаются неизменными. Квантованная модель уже имеется в этом репозитории. Однако если вы хотите выполнить квантование модели самостоятельно, вы можете загрузить ее из 1bitLLM/bitnetb158-3B и сохранить квантованную версию (2-битную) в ./bitnetb158-3B_quantized, выполнив следующую команду:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: kousw
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 12 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
