Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Эти файлы представляют собой файлы 4-битной модели GPTQ для Selfee 13B от Kaist AI. Это результат квантования до 4 бит с использованием GPTQ-for-LLaMa. 4-битные модели GPTQ для вывода с помощью графического процессора. 4-битные, 5-битные и 8-битные модели GGML для вывода с использованием ЦП (+ГП). * Неквантованная модель fp16 в формате pytorch, для вывода с помощью графического процессора и дальнейших преобразований. 1. Перейдите на вкладку «Модель». 2. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/Selfee-13B-GPTQ. 3. Нажмите «Загрузить». 4. Подождите, пока появится сообщение об окончании загрузки. 5. Снимите флажок «Автозагрузка модели». 6. Нажмите значок «Обновить» рядом с надписью «Модель» в левом верхнем углу. 1. В раскрывающемся списке «Модель» выберите только что загруженную модель Selfee-13B-GPTQ. 2. В разделе GPTQ отметьте AutoGPTQ. 3. Нажмите Сохранить настройки для этой модели в правом верхнем углу. 4. Нажмите «Обновить модель» в правом верхнем углу. 5. Как только появится сообщение о загрузке, перейдите на вкладку «Генерация текста» и введите приглашение! 1. В раскрывающемся списке «Модель» выберите только что загруженную модель Selfee-13B-GPTQ. 2. Если вы видите ошибку внизу справа, не обращайте на нее внимания – это временно. 3. Заполните…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text-generation-inference, 4-bit, gptq
Лайков: 4 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
