Большие языковые модели (LLM) произвели революцию в искусственном интеллекте, но их массивная память и вычислительные требования требуют агрессивного квантования, все больше подталкивая представления к теоретическому пределу одного бита. В то время как LLM со сложными значениями, такие как iFairy, предлагают лучшие шансы на низкобитовое представление по сравнению с аналогами с реальными значениями, они требуют обучения с нуля, предотвращая использование обширной экосистемы предварительно обученных моделей с реальными значениями. Здесь мы представляем Fairy2i, универсальную структуру, которая преобразует предварительно обученные слои с реальными значениями в эквивалентную широколинейную комплексную форму, позволяющую квантовать чрезвычайно низкие биты при повторном использовании существующих контрольных точек. Доказав математическую эквивалентность без потерь между вещественными и широколинейными картами, мы преобразуем стандартные трансформаторы в комплексную область и используем фазовую схему квантования с высокоэффективной кодовой книгой четвертых корней единицы ({±1, ±i}). Кроме того, мы вводим рекурсивный механизм остаточного квантования, который итеративно минимизирует ошибку квантования, позволяя делать вывод путем эффективного накопления без умножения. Мы демонстрируем, что…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: PKU-DS-LAB
Теги: llama, llama-2, quantization, qat, complex-valued, 2-bit, recursive, en
Лайков: 3 | Загрузок: 87
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
