stockmarkさんが公開している、stockmark-13bを、 日本語のキャリブレーションセットで生成したGPTQモデルになります。 キャリブレーションセットはizumi-lab/wikipedia-ja-20230720から、 1kほどランダムサンプリングしたものと、 ELYZA-tasks-100のinput/outputを計200ほど追加しています。 mmnga/wikipedia-ja-20230720-1k ~~~python from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig from transformers import AutoTokenizer tokenizer = AutoTokenizer.frompretrained(modelnameorpath, trustremotecode=True) model = AutoGPTQForCausalLM.fromquantized(modelnameorpath, use_safetensors=
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mmnga
Теги: llama, endpoints_compatible
Лайков: 3 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.