модель работает быстрее на всех аппаратных средствах с момента новой версии: [Подсказка: 88,9 т/с | Генерация: 22,4 т/с ] GPU -ngl 99 Mac M4 Max [Подсказка: 45,4 т/с | Генерация: 6,7 т/с ] CPU -ngl 0 Mac M4 Max [ Подсказка: 308,2 т/с | Генерация: 89,4 т/с ] GPU -ngl 99 NVIDIA L40S 48 ГБ PR qwen_next (Pull Request #16095) был объединен с основной веткой и находится в версии llama.cpp b7186. Скорость в токенах в секунду приличная и со временем будет улучшаться: я протестировал некоторые из этих небольших моделей на NVIDIA со компиляцией CUDA по умолчанию с отличным выпуском от @cturan на NVIDIA Графический процессор L40S. Поскольку графический процессор L40S имеет 48 ГБ видеопамяти, я смог запустить Q2K, Q3KM, Q4KS, Q40 и Q4MXFP4MOE, но Q4KM был слишком большим. Хоть и работает при использовании -ngl 45, но немного тормозит. Удалось получить хорошую скорость 53 токена в секунду при генерации и 800 токенов в секунду при оперативном чтении. Возможно, вам придется добавить /usr/local/cuda/bin в свой PATH, чтобы найти nvcc (компилятор Nvidia CUDA). Более подробную информацию о сборке CUDA см.: https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md#cuda Эти квантованные модели были созданы с использованием отличного запроса на извлечение от @pwilkin # 16095 от 19 октября 2025 г. с зафиксировать 2fdbf16eb.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: lefromage
Теги: gguf, endpoints_compatible, conversational
Лайков: 46 | Загрузок: 596
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.