версия аксолотла: 0.4.0 базовая модель yaml: NousResearch/Meta-Llama-3-8B тип модели: LlamaForCausalLM тип токенизатора: наборы данных AutoTokenizer: — путь: dominguesm/alpaca-data-pt-br тип: alpaca datasetpreparedpath: Lastrunprepared valsetsize: 0.05 выходной_дир: ./out-llama8b-alpaca-data-pt-br последовательностьlen: 8192 samplepacking: true Padtosequence_len: true wandbproject: мета-llama-8b-alpacadata-br wandbentity: wandbwatch: wandbname: wandblogmodel:gradientaccumulationsteps: 8 microbatchsize: 1 numepochs: 2 оптимизатор: pagedadamw8bit lrscheduler: косинус Learning_rate: 2e-5 trainoninputs: false groupbylength: false bf16: auto fp16: tf32: ложный градиентcheckpointing: истинный градиентcheckpointingkwargs: usereentrant: false Earlystoppingpatience: возобновить от контрольной точки: loggingsteps: 1 xformersattention: flash_attention: true Warmupsteps: 100 evalsperepoch: 2 evaltablesize: savesper_epoch: 1 отладка: — Transformers 4.40.0.dev0 — Pytorch 2.2.2+cu121 — Datasets 2.15.0 — Tokenizers 0.15.0 Узнайте больше о моих моделях, проектах и практических ресурсах ИИ: — Каталог инструментов ИИ: JustGoodAI — кураторский каталог полезных инструментов ИИ.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: artificialguybr
Теги: llama, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
