Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon Это квантованные 4-битные и 5-битные модели OpenAccess AI Collective’s Wizard Mega 13B в формате GGML. Этот репозиторий является результатом квантования до 4-битного и 5-битного GGML для вывода ЦП с использованием llama.cpp. 4-битные модели GPTQ для вывода графического процессора. 4-битные, 5-битные и 8-битные модели GGML для вывода ЦП llama.cpp (+CUDA). * Оригинальный репозиторий формата float16 HF от OpenAccess AI Collective для вывода графического процессора и дальнейших преобразований. llama.cpp недавно внес еще одно радикальное изменение в свои методы квантования — https://github.com/ggerganov/llama.cpp/pull/1508. Я квантовал файлы GGML в этом репозитории с помощью последней версии. Поэтому для их использования вам потребуется llama.cpp, скомпилированный 19 мая или позже (коммит 2d5db48 или позже). Файлы, совместимые с предыдущей версией llama.cpp, см. в ветке previousllamaggmlv2. мастер-мега-13B.ggmlv3.q40.bin | q40 | 4-битный | 8,14 ГБ | 10,5 ГБ | 4-битный. | мастер-мега-13B.ggmlv3.q41.bin | q50 | 5-битный | 8,95 ГБ | 11,0 ГБ | 4-битный. Более высокая точность, чем у q40, но не такая высокая, как у q50. Однако вывод происходит быстрее, чем у моделей q5.| мастер-мега-13B.ggmlv3.q50.bin | q50 | 5-битный | 8,95 ГБ | 11,0 ГБ |…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: en, endpoints_compatible
Лайков: 58 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
