Эта модель представляет собой адаптацию LoRA arcee-ai/Llama-3.1-SuperNova-Lite на thesven/Reflective-MAGLLAMA-v0.1.1. Это был простой эксперимент по рефлексии, и модель, похоже, работает адекватно, хотя я не уверен, что это значительное улучшение. Вы должны использовать токенизатор, поставляемый с моделью, поскольку токены COT являются уникальными специальными токенами. Он должен работать на большинстве механизмов вывода, которые могут запускать llama 3.1 Он достигает следующих результатов в наборе оценки: — Потеря: 0.6365 Я обучил его как LoRA не только потому, что он дешев, но и потому, что он пытается сохранить как можно больше исходных параметров. Я просто хотела, чтобы он привык к РАСКЛАДУШКЕ. При обучении использовались следующие гиперпараметры: — скорость обучения: 0,00015 — размер партии: 1 — размер партии: 1 — семя: 42 — распределенный тип: мульти-GPU — количество устройств: 4 — этапы градиентной аккумуляции: 2 — общий размер партии: 8 — общий размер партии: 4 — оптимизатор: Адам с бета=(0,9,0,999) и эпсилон= 1e-08 — тип lrschedulertype: косинус — lrschedulerwarmupsteps: 10 — количество эпох: 2 — PEFT 0,12,0 — Трансформаторы 4.45.0.dev0 — Pytorch 2.3.1 cu121 — Наборы данных 2.21.0 — Tokenizers 0.19.1
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: SE6446
Теги: llama, axolotl, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 26
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
