UNA ВЕРНУЛАСЬ Кибертрон v4 UNA-MGS, на основе потрясающего Qwen2.5 7B ОЦЕНКА #1 7-8B LLM БЕЗ ЗАГРЯЗНЕНИЯ 21.11.2024 со ср. 31.82 Это специальное издание прошло через UNA на уровнях MLP, как и miniclaus-1.5B. Здесь мы используем наш новый подход под названием MGS. Вам предстоит понять, что это значит. Кроме того, мы использовали UNA: Uniform Neural Alignment Cybertron V4 прошел SFT с MGS и UNA поверх набора данных Magpie-Align/Magpie-Qwen2.5-Pro-1M-v0.1. https://huggingface.co/bartowski/cybertron-v4-qw7B-UNAMGS-GGUF Во время обучения использовались следующие гиперпараметры: — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 8 — totaltrainbatchsize: 64 — totalevalbatchsize: 16 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — num_epochs: 1 — PEFT 0.13.2 — Трансформеры 4.45.2 (патч UNA и MGS) — Pytorch 2.3.0+cu121 — Наборы данных 3.0.1 — Токенизаторы 0.20.1
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: fblgit
Теги: qwen2, generated_from_trainer, conversational, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
