Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon Эти файлы представляют собой файлы моделей формата GGML для OpenLlama 13B Open Instruct от VMWare. Файлы GGML предназначены для вывода CPU + GPU с использованием llama.cpp, а также библиотек и пользовательских интерфейсов, которые поддерживают этот формат, например: text-generation-webui KoboldCpp LoLLMS Web UI llama-cpp-python * ctransformers 4-битные модели GPTQ для вывода GPU 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода CPU+GPU * Неквантованная модель fp16 в pytorch, для вывода графического процессора и дальнейших преобразований. Я квантовал эти «исходные» методы квантования, используя более старую версию llama.cpp, чтобы они оставались совместимыми с llama.cpp по состоянию на 19 мая, зафиксируйте 2d5db48. Они гарантированно будут совместимы с любыми пользовательскими интерфейсами, инструментами и библиотеками, выпущенными с конца мая. Эти новые методы квантования совместимы с llama.cpp по состоянию на 6 июня, коммит 2d43387. Теперь они также совместимы с последними выпусками text-generation-webui, KoboldCpp, llama-cpp-python и ctransformers. Другие инструменты и библиотеки могут быть совместимыми, а могут и не быть совместимыми — в случае сомнений проверьте их документацию. Доступны новые методы: GGMLTYPEQ2K — 2-битное квантование «типа 1»…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: TheBloke
Теги: en
Лайков: 18 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
