Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Эти файлы являются результатом объединения весов LoRA gpt4-alpaca-lora_mlp-65B от chtan с исходной моделью Llama 65B. 4-битные модели GPTQ для вывода GPU. 4-битные и 5-битные модели GGML для вывода CPU в llama.cpp * неквантованная модель float16 для вывода GPU и дальнейших преобразований. Я тестировал эту модель с двумя графическими процессорами 4090 по 24 ГБ, и она смогла вернуть 1500 токенов до того, как одна карта вышла из строя. Поэтому вам может потребоваться предварительно загрузить несколько слоев в оперативную память процессора или запустить систему с более чем 48 ГБ видеопамяти. 1. Откройте вкладку Модель. 2. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/gpt4-alpaca-loramlp-65B-GPTQ. 3. Нажмите «Загрузить». 4. Подождите, пока появится сообщение об окончании загрузки. 5. Щелкните значок «Обновить» рядом с надписью «Модель» в левом верхнем углу. 6. В раскрывающемся списке «Модель» выберите только что загруженную модель: gpt4-alpaca-loramlp-65B-GPTQ. 7. Если вы видите ошибку справа внизу, не обращайте на нее внимания – это временно. 8. Заполните параметры GPTQ справа: Биты = 4, Размер группы = Нет, Тип модели = Лама 9. Нажмите Сохранить настройки для…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text2text-generation, text-generation-inference, endpoints_compatible, 4-bit, gptq
Лайков: 14 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
