Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z) — Создатель модели: SLAM-group — Исходная модель: в настоящее время удалена первоначальным создателем. Этот репозиторий содержит файлы моделей GPTQ для NewHope группы SLAM. Предусмотрено несколько перестановок параметров GPTQ; Подробную информацию о предоставляемых опциях, их параметрах и программном обеспечении, использованном для их создания, см. ниже в разделе «Предоставленные файлы». Создатель исходной модели удалил свою модель, поскольку его набор обучающих данных был загрязнен образцами из набора данных HumanEval. Это не влияет на возможности данной модели, которая зарекомендовала себя очень качественно. На данный момент я собираюсь оставить эту модель, но удалю ее, если этого потребует создатель исходной модели или если/когда он загрузит новую версию. Модели GPTQ для вывода графического процессора с несколькими вариантами параметров квантования. 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода CPU+GPU. Предоставляется несколько параметров квантования, что позволяет вам выбрать лучший для вашего оборудования и требований. Каждый отдельный квант находится в отдельной ветви. Смотрите ниже…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text-generation-inference, 4-bit, gptq
Лайков: 21 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
