Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Эти файлы представляют собой файлы 4-битной модели GPTQ для GPT-GM-OASST1-Falcon 40B v2 от H2O. 4-битные модели GPTQ для вывода на основе графического процессора. 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода на основе процессора и графического процессора. * Неквантованная модель fp16 в формате pytorch, для вывода на основе графического процессора и для дальнейших преобразований. Обратите внимание, что это экспериментальная модель GPTQ. В настоящее время его поддержка весьма ограничена. Также ожидается, что это будет ОЧЕНЬ МЕДЛЕННО. На данный момент это неизбежно, но над этим ведется работа. 1. Запустите text-generation-webui. 2. Перейдите на вкладку «Модель». 3. Снимите флажок «Автозагрузка модели». 4. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/h2ogpt-gm-oasst1-en-2048-falcon-40b-v2-GPTQ. 5. Нажмите «Загрузить». 6. Подождите, пока появится сообщение об окончании загрузки. 7. Щелкните значок «Обновить» рядом с надписью «Модель» в левом верхнем углу. 8. В раскрывающемся списке «Модель» выберите только что загруженную модель: TheBloke/h2ogpt-gm-oasst1-en-2048-falcon-40b-v2-GPTQ. 9. Убедитесь, что для параметра Loader установлено значение AutoGPTQ. Эта модель не будет работать с ExLlama или GPTQ-for-LLaMa. 10. Отметьте «Доверять удаленный код», а затем «Сохранить…».
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: RefinedWeb, gpt, llm, large language model, h2o-llmstudio, custom_code, en, text-generation-inference
Лайков: 8 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
