Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Этот репозиторий содержит файлы моделей формата GGUF для Asclepius 13B Джуну Кима. GGUF — это новый формат, представленный командой llama.cpp 21 августа 2023 года. Это замена GGML, который больше не поддерживается llama.cpp. Ключевое преимущество GGUF заключается в том, что это расширяемый, ориентированный на будущее формат, который хранит больше информации о модели в виде метаданных. Он также включает значительно улучшенный код токенизации, включая впервые полную поддержку специальных токенов. Это должно повысить производительность, особенно с моделями, которые используют новые специальные токены и реализуют пользовательские шаблоны подсказок. По состоянию на 25 августа вот список клиентов и библиотек, которые поддерживают GGUF: llama.cpp. text-generation-webui — наиболее широко используемый веб-интерфейс. Поддерживает GGUF с ускорением графического процессора через бэкэнд ctransformers — бэкэнд llama-cpp-python тоже скоро заработает. KoboldCpp теперь поддерживает GGUF начиная с версии 1.41! Мощный веб-интерфейс GGML с полным ускорением графического процессора. Особенно хорош для рассказывания историй. LM Studio, версия 0.2.2…
Модальности:
Генерация текста
Области применения:
Медицина
Задача: Генерация текста
Автор: TheBloke
Теги: gguf, llama, medical, text2text-generation, en
Лайков: 8 | Загрузок: 283
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
