Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon Это 4-битная GGML-версия модели Chansung GPT4 Alpaca 30B LoRA. Он был создан путем слияния LoRA, представленного в приведенном выше репозитории, с исходной моделью Llama 30B, в результате чего была получена неквантованная модель GPT4-Alpaca-LoRA-30B-HF. Файлы в этом репозитории затем были квантованы до 4-битного и 5-битного цвета для использования с llama.cpp. llama.cpp недавно внес еще одно радикальное изменение в свои методы квантования — https://github.com/ggerganov/llama.cpp/pull/1508. Я квантовал файлы GGML в этом репозитории с помощью последней версии. Поэтому для их использования вам потребуется llama.cpp, скомпилированный 19 мая или позже (коммит 2d5db48 или позже). Файлы, совместимые с предыдущей версией llama.cpp, см. в ветке previousllamaggmlv2. gpt4-alpaca-lora-30B.ggmlv3.q40.bin | q40 | 4-битный | 20,3 ГБ | 23 ГБ | 4бит. | gpt4-alpaca-lora-30B.ggmlv3.q41.bin | q41 | 4-битный | 22,4 ГБ | 25 ГБ | 4-битный. Более высокая точность, чем у q40, но не такая высокая, как у q50. Однако вывод происходит быстрее, чем у моделей q5. | gpt4-alpaca-lora-30B.ggmlv3.q50.bin | q50 | 5-битный | 22,4 ГБ | 25 ГБ | 5бит. Более высокая точность, более высокое использование ресурсов, более медленный вывод. |…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: alpaca, llama, chat, gpt4, text2text-generation, en
Лайков: 47 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
