версия аксолотла: 0.4.0 базовая модель yaml: NousResearch/Meta-Llama-3-8B тип модели: LlamaForCausalLM тип токенизатора: наборы данных AutoTokenizer: — путь: b-mc2/sql-create-context тип: contextqa.loadv2 datasetpreparedpath: Lastrunprepared valsetsize: 0.05 выходной_дир: ./out-llama8b-createcontext последовательностьlen: 8192 samplepacking: true Padtosequence_len: true wandbproject: мета-llama-8b-sql-create-context wandbentity: wandbwatch: wandbname: wandblogmodel:gradientaccumulationsteps: 8 microbatchsize: 1 numepochs: 3 оптимизатор: pagedadamw8bit lrscheduler: косинус Learning_rate: 2e-5 trainoninputs: false groupbylength: false bf16: auto fp16: tf32: ложный градиентcheckpointing: истинный градиентcheckpointingkwargs: usereentrant: false Earlystoppingpatience: возобновить от контрольной точки: шаги регистрации: 1 xformersattention: flash_attention: true Warmupsteps: 100 evalsperepoch: 2 evaltablesize: savesper_epoch: 1 — Трансформеры 4.40.0.dev0 — Pytorch 2.2.2+cu121 — Наборы данных 2.15.0 — Токенизаторы 0.15.0
Модальности:
Генерация текста
Области применения:
Диалог / чат Текст в SQL
Задача: Генерация текста
Автор: artificialguybr
Теги: llama, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 1,009
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
