Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon Эти файлы представляют собой файлы моделей в формате GGML для Orca Mini v2 7B Панкаджа Матура. Файлы GGML предназначены для вывода CPU + GPU с использованием llama.cpp, а также библиотек и пользовательских интерфейсов, которые поддерживают этот формат, например: text-generation-webui KoboldCpp LoLLMS Web UI llama-cpp-python * ctransformers 4-битные модели GPTQ для вывода GPU 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода CPU+GPU * Неквантованная модель fp16 в pytorch, для вывода графического процессора и дальнейших преобразований. Я квантовал эти «оригинальные» методы квантования, используя более старую версию llama.cpp, чтобы они оставались совместимыми с llama.cpp по состоянию на 19 мая, зафиксируйте 2d5db48. Они гарантированно будут совместимы с любыми пользовательскими интерфейсами, инструментами и библиотеками, выпущенными с конца мая. Эти новые методы квантования совместимы с llama.cpp по состоянию на 6 июня, коммит 2d43387. Теперь они также совместимы с последними выпусками text-generation-webui, KoboldCpp, llama-cpp-python и ctransformers. Другие инструменты и библиотеки могут быть совместимыми, а могут и не быть совместимыми — в случае сомнений проверьте их документацию. Доступны новые методы: GGMLTYPEQ2K — 2-битное квантование «типа 1» в…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: en
Лайков: 35 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
