mrm8488/limstral-7B-v0.1

Эта модель представляет собой доработанную версию mistralai/Mistral-7B-v0.1 в наборе данных LIMA для инструкций, следующих за последующими задачами. The model was loaded on 8 bits and fine-tuned on the LIMA dataset using the LoRA PEFT technique with the huggingface/peft library and trl/sft for 2 epochs on 1 x A100 (40GB) GPU. The following hyperparameters were used during training: — learningrate: 0.0002 — trainbatchsize: 2 — evalbatchsize: 8 — seed: 66 — gradientaccumulationsteps: 64 — totaltrainbatchsize: 128 — optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 — lrschedulertype: constant — lrschedulerwarmupratio: 0.03 — numepochs: 2 — mixedprecisiontraining: Native AMP — Transformers 4.35.0.dev0 — Pytorch 2.1.0+cu118 — Datasets 2.14.6 — Tokenizers 0.14.1

Модальности:
Генерация текста

Задача: Генерация текста
Автор: mrm8488
Теги: mistral, en, text-generation-inference, endpoints_compatible
Лайков: 6  |  Загрузок: 109

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.