Эти файлы представляют собой файлы модели формата GGML для Llama 2 13b Chat German. Всю информацию о модели вы найдете в оригинальном репозитории. Файлы GGML предназначены для вывода CPU + GPU с использованием llama.cpp, а также библиотек и пользовательских интерфейсов, которые поддерживают этот формат, например: text-generation-webui KoboldCpp LoLLMS Web UI llama-cpp-python * ctransformers Существует также (пока недокументированный?) метод прямо в преобразователях для генерации правильной токенизации: LLamaTokenizer.buildconversationinputids. Пока что я квантовал только версию q40` для собственного использования. Пожалуйста, дайте мне знать, если есть потребность в других квантованиях. Они должны быть совместимы со всеми пользовательскими интерфейсами, инструментами и библиотеками, выпущенными с конца мая. Я использую следующую командную строку; приспосабливайтесь к своим вкусам и потребностям: если вы можете использовать полную разгрузку графического процессора, вам следует использовать -t 1 для достижения максимальной производительности. Если нет возможности полностью разгрузить графический процессор, вам следует использовать больше ядер. Измените -t 10 на количество имеющихся у вас физических ядер ЦП или на меньшее число в зависимости от того, что обеспечивает наилучшую производительность. Измените -ngl 32 на количество слоев, которые нужно выгрузить в графический процессор. Удалите его, если у вас нет ускорения графического процессора. Если вы хотите вести беседу в стиле чата, замените -p …
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: jphme
Теги: llama, llama-2, german, deutsch, ggml, de, en
Лайков: 13 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
