mmnga/stockmark-13b-GPTQ-calib-ja-1k - Каталог нейросетей
Генерация текста

mmnga/stockmark-13b-GPTQ-calib-ja-1k

Добавлено:
mmnga/stockmark-13b-GPTQ-calib-ja-1k

stockmarkさんが公開している、stockmark-13bを、 日本語のキャリブレーションセットで生成したGPTQモデルになります。 キャリブレーションセットはizumi-lab/wikipedia-ja-20230720から、 1kほどランダムサンプリングしたものと、 ELYZA-tasks-100のinput/outputを計200ほど追加しています。 mmnga/wikipedia-ja-20230720-1k ~~~python from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig from transformers import AutoTokenizer tokenizer = AutoTokenizer.frompretrained(modelnameorpath, trustremotecode=True) model = AutoGPTQForCausalLM.fromquantized(modelnameorpath, use_safetensors=

Модальности:
Генерация текста


Задача: Генерация текста
Автор: mmnga
Теги: llama, endpoints_compatible
Лайков: 3  |  Загрузок: 15

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.