Этот репозиторий содержит файлы модели формата GGUF для Meta-Llama-3-70B-Instruct. GGUF — это новый формат, представленный командой llama.cpp 21 августа 2023 года. Это замена GGML, который больше не поддерживается llama.cpp. Вот неполный список клиентов и библиотек, которые, как известно, поддерживают GGUF: llama.cpp. Это исходный проект GGUF, предоставляющий как интерфейс командной строки (CLI), так и опцию сервера. text-generation-webui. Этот проект, известный как наиболее широко используемый веб-интерфейс, может похвастаться многочисленными функциями и мощными расширениями, а также поддерживает ускорение графического процессора. Ollama Ollama — это легкая и расширяемая среда, предназначенная для локального создания и запуска языковых моделей. Он имеет простой API для создания, управления и выполнения моделей, а также библиотеку готовых моделей для использования в различных приложениях. KoboldCpp — комплексный веб-интерфейс, предлагающий ускорение графического процессора на всех платформах и архитектурах, особенно известный благодаря рассказыванию историй. GPT4All. Это бесплатный графический интерфейс с открытым исходным кодом, который работает локально и поддерживает Windows, Linux и macOS с полным ускорением графического процессора. LM Studio Интуитивно понятный и мощный локальный графический интерфейс для Windows и macOS (Silicon), включающий…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: LiteLLMs
Теги: gguf, facebook, meta, llama, llama-3, GGUF, en, endpoints_compatible
Лайков: 8 | Загрузок: 51
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
