Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Эти файлы представляют собой файлы 4-битной модели GPTQ для OpenChat v2 от OpenChat. Это результат квантования до 4 бит с использованием GPTQ-for-LLaMa. 4-битные модели GPTQ для вывода с помощью графического процессора. Неквантованная модель fp16 в формате pytorch, для вывода с помощью графического процессора и для дальнейших преобразований. Модели GGML не были созданы из-за необходимости использования пользовательских шаблонов подсказок, которые, как я полагаю, в настоящее время не могут работать с GGML. В этой модели используется собственный шаблон приглашения. Скорее всего, это будет означать, что он НЕ будет работать в таких пользовательских интерфейсах, как text-generation-webui, пока не будет добавлена специальная поддержка. Шаблон диалога включает в себя объединение токенов и не может быть выражен в виде обычного текста. Помимо словаря базовой модели, добавляется жетон конца хода. Чтобы изучить модели условного языка, вы также можете установить префикс = «Ассистент GPT3:», чтобы имитировать поведение ChatGPT (это может привести к снижению производительности). Подсказка: в BPE tokenize(A) + tokenize(B) не всегда равно tokenize(A + B)`* Убедитесь, что вы используете последнюю версию text-generation-webui. Это сильно…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: llama, en, text-generation-inference, 4-bit, gptq
Лайков: 4 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
