Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от andreessen horowitz (a16z). Эти файлы представляют собой файлы модели формата GPTQ h2ogpt-research-oig-oasst1-512-30b от H2O.ai. Это результат квантования до 4 бит с использованием GPTQ-for-LLaMa. 4-битные модели GPTQ для вывода графического процессора. 4-битные и 5-битные модели GGML для вывода ЦП. * Неквантованная модель формата float16 HF для вывода графического процессора и дальнейших преобразований. Модель не имеет токена остановки, поэтому она будет продолжать разговаривать сама с собой. 1. Откройте вкладку Модель. 2. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/h2ogpt-oasst1-512-30B-GPTQ. 3. Нажмите «Загрузить». 4. Подождите, пока появится сообщение об окончании загрузки. 5. Щелкните значок «Обновить» рядом с надписью «Модель» в левом верхнем углу. 6. В раскрывающемся списке «Модель» выберите только что загруженную модель: h2ogpt-oasst1-512-30B-GPTQ. 7. Если вы видите ошибку справа внизу, не обращайте на нее внимания – это временно. 8. Заполните параметры GPTQ справа: Биты = 4, Groupsize = None, modeltype = Llama 9. Нажмите Save settings for this model вверху справа. 10. Нажмите «Обновить модель» в правом верхнем углу. 11. Как только появится сообщение о загрузке, нажмите кнопку «Текст…».
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, gpt, llm, large language model, LLaMa, en, text-generation-inference, 4-bit
Лайков: 5 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
