Квантование Exllamav3 Qwen/Qwen3-235B-A22B-Instruct-2507 2,25 бит/мин h6 63,377 ГиБ 3,00 бит/мин h6 83,800 ГиБ 4,00 бит/мин h6 111,013 ГиБ Квант 2,25 бит/мин поместится в три карты по 24 ГБ с 20 КБ токены контекста fp16. Квант со скоростью передачи данных 4,00 бита в минуту поместится в шесть карт по 24 ГБ с 81 920 токенами контекста fp16. * Обратите внимание, что все эти числа относятся к текущей версии exllamav3, которая в настоящее время не поддерживает тензорный параллелизм. Если вы читаете это из будущего, где эта функция будет реализована, или если у вас есть карты большего размера, то вы, вероятно, сможете добиться большего, чем то, о чем я здесь сообщаю.
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: MikeRoz
Теги: exllamav3, exl3
Лайков: 6 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
