Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon Эти файлы представляют собой файлы моделей в формате GGML для Alpaca LoRA 30B от Chansung. Файлы GGML предназначены для вывода CPU + GPU с использованием llama.cpp, а также библиотек и пользовательских интерфейсов, которые поддерживают этот формат, например: text-generation-webui KoboldCpp ParisNeo/GPT4All-UI llama-cpp-python * 4-битные модели GPTQ ctransformers elinas для вывода GPU 4-битные, 5-битные и 8-битные модели GGML для вывода CPU+GPU * Неквантованная модель fp16 от Chansung в формате pytorch, для вывода графического процессора и дальнейших преобразований. llama.cpp недавно внес еще одно радикальное изменение в свои методы квантования — https://github.com/ggerganov/llama.cpp/pull/1508. Я квантовал файлы GGML в этом репозитории с последней версией. Поэтому для их использования вам потребуется llama.cpp, скомпилированный 19 мая или позже (коммит 2d5db48 или позже). Я использую следующую командную строку; Отрегулируйте по своему вкусу и потребностям: измените -t 10 на количество имеющихся у вас физических ядер ЦП. Например, если ваша система имеет 8 ядер/16 потоков, используйте -t 8. Измените -ngl 32 на количество слоев, которые нужно выгрузить на графический процессор. Удалите его, если у вас нет ускорения графического процессора. Если вы хотите поговорить в стиле чата…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: alpaca, llama, chat, text2text-generation, en
Лайков: 4 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
