mmnga/ELYZA-japanese-Llama-2-7b-fast-instruct-GPTQ-calib-ja-2k

elyzaさんが公開している、ELYZA-japanese-Llama-2-7b-fast-instructを、 日本語のキャリブレーションセットで生成したGPTQモデルになります。 キャリブレーションセットはizumi-lab/wikipedia-ja-20230720から、 2kほどランダムサンプリングしたものと、 ELYZA-tasks-100のinput/outputを計200ほど追加しています。 mmnga/wikipedia-ja-20230720-2k AWQはこちら mmnga/ELYZA-japanese-Llama-2-7b-fast-instruct-AWQ-calib-ja-100k ~~~python from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig from transformers import AutoTokenizer modelnameor_path = «mmnga/ELYZA-japanese-Llama-2-7b-fast-inst

Модальности:
Генерация текста

Области применения:
Следование инструкциям

Задача: Генерация текста
Автор: mmnga
Теги: llama, endpoints_compatible
Лайков: 3  |  Загрузок: 42

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.