Эта модель доработана из BlackSamorez/Llama-2-70b-AQLM-2Bit-1×16-hf с использованием LLaMA Factory. Максимальное использование графического процессора во время обучения составляет 24 ГБ, и модель имеет возможности предварительного разговора и использования инструментов. Эта модель доработана с использованием 2000 примеров наборов данных Alpaca-GPT4 и Glaive-function-calling-v2. n» «Действие: имя инструмента (одно из [getcurrentweather]).n» «Ввод действия: входные данные для инструмента в формате JSON, представляющие кварги » «(например ).n» » Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0001 — trainbatchsize: 1 — evalbatchsize: 8 — начальное число: 42 — градиентаккумуляциястепс: 8 — totaltrainbatchsize: 8 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: косинус — numepochs: 1.0 — mixprecision_training: Native AMP — PEFT 0.9.0 — Transformers 4.39.0.dev0 — Pytorch 2.2.1+cu121 — Наборы данных 2.15.0 — Токенизаторы 0.15.2
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: hiyouga
Теги: peft, llama-factory, lora, generated_from_trainer, conversational, en
Лайков: 8 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
