Эта модель представляет собой Llama-2-Chat 70B, доработанную с использованием части японского набора данных инструкций под названием izumi-lab/llm-japanese-dataset. Набор данных публикуется под лицензией CC-BY-SA 4.0. Проверьте следующую ссылку. https://huggingface.co/datasets/izumi-lab/llm-japanese-dataset — maxsteps = 10000 — размер пакета = 4 — targetmaxlen = 2048 — время обучения: 12 часов. Пользователи этой модели также должны согласиться с приведенной ниже лицензией Meta. Во время обучения использовалась следующая конфигурация квантования битов и байтов: — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: True — bnb4bitcomputedtype: bfloat16
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: AIgroup-CVM-utokyohospital
Теги: peft, ja
Лайков: 5 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
