— Создатель модели: мета-лама — Исходная модель: мета-лама/Мета-Ллама-3.1-405B-Instruct MaziyarPanahi/Meta-Llama-3.1-405B-Instruct-GGUF содержит файлы моделей формата GGUF для мета-ламы/Meta-Llama-3.1-405B-Instruct. > llama.cpp/llama-cli -m Meta-Llama-3.1-405B-Instruct.Q2_K.gguf-00001-of-00009.gguf -p «напишите 10 предложений, заканчивающихся словом яблоко». -n 1024 -t 40 GGUF — это новый формат, представленный командой llama.cpp 21 августа 2023 года. Это замена GGML, который больше не поддерживается llama.cpp. Вот неполный список клиентов и библиотек, которые, как известно, поддерживают GGUF: llama.cpp. Исходный проект для GGUF. Предлагает CLI и опцию сервера. llama-cpp-python, библиотека Python с ускорением графического процессора, поддержкой LangChain и сервером API, совместимым с OpenAI. LM Studio — простой в использовании и мощный локальный графический интерфейс для Windows и macOS (Silicon) с ускорением графического процессора. Linux доступен в бета-версии по состоянию на 27.11.2023. text-generation-webui, наиболее широко используемый веб-интерфейс со множеством функций и мощных расширений. Поддерживает ускорение графического процессора. KoboldCpp — полнофункциональный веб-интерфейс с ускорением графического процессора на всех платформах и архитектурах графического процессора. Особенно хорош для рассказывания историй. GPT4All, бесплатный и…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: MaziyarPanahi
Теги: gguf, quantized, 2-bit, 3-bit, GGUF, en, de, fr
Лайков: 16 | Загрузок: 59,185
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
