Кванты матрицы важности (imatrix) GGUF для https://huggingface.co/LargeWorldModel/LWM-Text-Chat-128K. Матрица важности была обучена для 100 тыс. токенов (200 пакетов по 512 токенов) с использованием wiki.train.raw. Квант imatrix Q4-K соответствует контексту 32 КБ на 24 ГБ и дает мне вывод ~ 100 т/с на 3090. С IQ3XXS он, похоже, соответствует контексту ~ 37 КБ на 24 ГБ (и это даже быстрее, чем Q4-K). Кажется, что с любым из квантов на 3090 он декодирует контекст со скоростью более 2000 т/с. Используя K-кэш Q8 (вместо F16), вы можете разместить контекст до 43-44 КБ, но скорость вывода немного снижается. Также по какой-то причине мне нужно использовать штраф 1.0, чтобы избежать отключения ответа.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: dranger003
Теги: gguf, endpoints_compatible
Лайков: 8 | Загрузок: 38
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
