Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon Эти файлы представляют собой файлы моделей в формате GGML для Orca Mini v2 13B Панкаджа Матура. Файлы GGML предназначены для вывода CPU + GPU с использованием llama.cpp, а также библиотек и пользовательских интерфейсов, которые поддерживают этот формат, например: text-generation-webui KoboldCpp LoLLMS Web UI llama-cpp-python * ctransformers 4-битные модели GPTQ для вывода GPU 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода CPU+GPU * Неквантованная модель fp16 в pytorch, для вывода графического процессора и дальнейших преобразований. Они гарантированно совместимы со всеми пользовательскими интерфейсами, инструментами и библиотеками, выпущенными с конца мая. Вскоре от них могут отказаться, поскольку их в значительной степени вытеснят новые методы k-квантов. Эти новые методы квантования совместимы с llama.cpp по состоянию на 6 июня, коммит 2d43387. Теперь они также совместимы с последними выпусками text-generation-webui, KoboldCpp, llama-cpp-python, ctransformers,rustformers и большинством других. Для совместимости с другими инструментами и библиотеками ознакомьтесь с их документацией. Доступны следующие новые методы: GGMLTYPEQ2K — 2-битное квантование «типа 1» в суперблоках, содержащих 16 блоков, каждый блок имеет вес 16.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: en
Лайков: 24 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
