Этот репозиторий содержит файлы модели формата GGUF для MobileLLaMA-1.4B-Base. GGUF — это новый формат, представленный командой llama.cpp 21 августа 2023 года. Это замена GGML, который больше не поддерживается llama.cpp. Вот неполный список клиентов и библиотек, которые, как известно, поддерживают GGUF: llama.cpp. Это исходный проект для GGUF, предоставляющий как интерфейс командной строки (CLI), так и опцию сервера. text-generation-webui, известный как наиболее широко используемый веб-интерфейс, этот проект может похвастаться многочисленными функциями и мощными расширениями, а также поддерживает ускорение графического процессора. Ollama Ollama — это легкий и расширяемый фреймворк, предназначенный для построения и запуска языковых моделей локально. Он имеет простой API для создания, управления и выполнения моделей, а также библиотеку готовых моделей для использования в различных приложениях KoboldCpp, всеобъемлющий веб-интерфейс, предлагающий ускорение графического процессора на всех платформах и архитектурах, особенно известный рассказыванием историй. GPT4All — это бесплатный графический интерфейс с открытым исходным кодом, который работает локально, поддерживая Windows, Linux и macOS с полным ускорением графического процессора. LM Studio Интуитивно понятный и мощный локальный графический интерфейс для Windows и macOS (Silicon) с графическим процессором…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: andrijdavid
Теги: gguf, llama, GGUF, endpoints_compatible
Лайков: 3 | Загрузок: 609
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.