Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon Это квантованные 4-битные, 5-битные и 8-битные модели GGML Medalpaca 13B в формате GGML. Этот репозиторий является результатом преобразования в 4-битный, 5-битный и 8-битный GGML для вывода CPU (+CUDA) с использованием llama.cpp. 4-битные модели GPTQ для вывода графического процессора. 4-битные, 5-битные и 8-битные модели GGML для вывода ЦП llama.cpp (+CUDA). * Репозиторий формата float32 HF компании медальпака для вывода данных на графическом процессоре и дальнейших преобразований. llama.cpp недавно внес еще одно радикальное изменение в свои методы квантования — https://github.com/ggerganov/llama.cpp/pull/1508. Я квантовал файлы GGML в этом репозитории с помощью последней версии. Поэтому для их использования вам потребуется llama.cpp, скомпилированный 19 мая или позже (коммит 2d5db48 или позже). Файлы, совместимые с предыдущей версией llama.cpp, см. в ветке previousllamaggmlv2. медальпак-13B.ggmlv3.q40.bin | q40 | 4-битный | 8,14 ГБ | 10,5 ГБ | 4-битный. | медальпак-13B.ggmlv3.q41.bin | q41 | 4-битный | 8,14 ГБ | 10,5 ГБ | 4-битный. Более высокая точность, чем у q40, но не такая высокая, как у q50. Однако вывод происходит быстрее, чем у моделей q5. | медальпак-13B.ggmlv3.q50.bin | q50 | 5-битный | 8,95 ГБ | 11,0 ГБ | 5-битный. Выше точность, выше…
Модальности:
Генерация текста
Области применения:
Медицина
Задача: Генерация текста
Автор: TheBloke
Теги: medical, en
Лайков: 14 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
