Оригинальная модель: https://huggingface.co/microsoft/Phi-4-reasoning Запустите их напрямую с помощью llama.cpp или любого другого проекта на основе llama.cpp Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) являются стандартным методом квантования с вложениями и выходными весами, квантованными в Q8_0 вместо того, что они обычно используют по умолчанию. Если размер модели превышает 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их все в локальную папку, выполните команду: Вы можете указать новый локальный каталог (microsoftPhi-4-reasoning-Q80) или загрузить их все на месте (./) Раньше вы загружали Q4044/48/8_8, и их веса перемежались в памяти, чтобы повысить производительность на машинах ARM и AVX, загружая больше данных за один проход. Теперь, однако, есть то, что называется «онлайн-переупаковка» для весов. подробности в этом PR. Если вы используете Q4_0, и ваше оборудование выиграет от переупаковки весов, оно будет делать это автоматически на лету. Начиная со сборки b4282 llama.cpp, вы не сможете запускать файлы Q40XX, вместо этого вам нужно будет использовать Q40. Кроме того, если вы хотите получить немного лучшее качество для , вы можете использовать IQ4NL благодаря этому PR, который также будет переупаковывать грузы для…
Модальности:
Генерация текста
Области применения:
Генерация кода Математика Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: bartowski
Теги: gguf, phi, nlp, math, code, chat, conversational, reasoning
Лайков: 4 | Загрузок: 1,728
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
