Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: Панкадж Матур — Оригинальная модель: Orca Mini v3 70B. Этот репозиторий содержит файлы моделей в формате GGML для Orca Mini v3 70B от Pankaj Mathur. Формат GGML теперь заменен GGUF. С 21 августа 2023 г. llama.cpp больше не поддерживает модели GGML. Ожидается, что сторонние клиенты и библиотеки будут поддерживать его какое-то время, но многие из них также могут отказаться от поддержки. Ускорение графического процессора теперь доступно для файлов Llama 2 70B GGML как с CUDA (NVidia), так и с Metal (macOS). Известно, что с этими файлами работают следующие клиенты/библиотеки, в том числе с ускорением графического процессора: llama.cpp, commit e76d630 и более поздние версии. text-generation-webui — наиболее широко используемый веб-интерфейс. KoboldCpp, версия 1.37 и новее. Мощный веб-интерфейс GGML, особенно хорош для рассказывания историй. LM Studio — полнофункциональный локальный графический интерфейс с графическим ускорением для Windows и macOS. Используйте 0.1.11 или более позднюю версию для ускорения графического процессора macOS с моделями 70B. llama-cpp-python, версия 0.1.77 и новее. Библиотека Python с поддержкой LangChain и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, en
Лайков: 15 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
