Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от andreessen horowitz (a16z). Эти файлы представляют собой файлы 4-битной модели GPTQ для Long Chat 7B от LmSys. Это результат квантования до 4 бит с использованием GPTQ-for-LLaMa. Расширенный контекст протестирован на работу с ExLlama с помощью последней версии text-generation-webui. Эту модель НЕ следует использовать в контексте 2048. Для этого используйте стандартную модель Vicuna 1.3. Он также был протестирован на коде Python с использованием AutoGPTQ иtrustremotecode=True. 4-битные модели GPTQ для вывода на основе графического процессора. 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода на основе процессора и графического процессора. * Неквантованная модель fp16 в формате pytorch, для вывода на основе графического процессора и для дальнейших преобразований. Убедитесь, что вы используете последнюю версию text-generation-webui. 1. Перейдите на вкладку «Модель». 2. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/LongChat-7B-GPTQ. 3. Нажмите «Загрузить». 4. Начнется загрузка модели. По завершении появится сообщение «Готово». 5. Снимите флажок «Автозагрузка модели». 6. В левом верхнем углу щелкните значок обновления рядом с надписью «Модель». 7. В раскрывающемся списке «Модель» выберите только что загруженную модель:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: llama, custom_code, text-generation-inference, 4-bit, gptq
Лайков: 10 | Загрузок: 75
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
