Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: PygmalionAI — Исходная модель: Pygmalion 2 13B. Этот репозиторий содержит файлы моделей GPTQ для PygmalionAI 2 13B. Предусмотрено несколько перестановок параметров GPTQ; Подробную информацию о предоставляемых опциях, их параметрах и программном обеспечении, использованном для их создания, см. ниже в разделе «Предоставленные файлы». Модель(и) AWQ для вывода с помощью графического процессора. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGUF для вывода CPU+GPU. Исходная неквантованная модель fp16 PygmalionAI в формате pytorch, для вывода GPU и дальнейших преобразований. Модель была обучена на подсказках с использованием трех различных ролей, которые обозначаются следующими токенами: и . Подсказку можно использовать для скрытого ввода внеканальной информации, тогда как подсказку следует использовать для обозначения ввода пользователя. Затем этот токен следует использовать для указания того, что модель должна сгенерировать ответ. Эти токены могут повторяться несколько раз и объединяться в цепочку, образуя историю разговора. …
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text generation, instruct, en, text-generation-inference, 4-bit, gptq
Лайков: 41 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
