Квантование GPTQ https://huggingface.co/TehVenom/Dolly_Shygmalion-6b. Использование этого репозитория: https://github.com/mayaeary/GPTQ-for-LLaMa/tree/gptj-v2.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Ancestral
Теги: gptj, text generation, conversational, gptq, 4bit, en
Лайков: 5 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Предварительно обученная генеративная языковая модель с 7 миллиардами параметров, ориентированная на возможности следования инструкциям. Эта модель была построена...
Модель генерации текста Модальности:Генерация текста Задача: Генерация текста Автор: mPLUG Теги: tiny_chart_phi, custom_code, endpoints_compatibleЛайков: 7 | Загрузок: 317...
— Создатель модели: MaziyarPanahi — Исходная модель: MaziyarPanahi/Ultra-Smaug-125B-v0.1 MaziyarPanahi/Ultra-Smaug-125B-v0.1-GGUF содержит файлы моделей формата GGUF для MaziyarPanahi/Ultra-Smaug-125B-v0.1. Спасибо TheBloke...
LLaMa 65B конвертируется в ggml через LLaMa.cpp, а затем квантуется до 4 бит. Legacy предназначен для настроек llama.cpp...
