МЫ ВЕРНУЛИСЬ Cybertron v4, LLM №1 в своем классе. На основе потрясающего Qwen2.5 7B. Здесь мы используем наш новый подход под названием MGS. Вам предстоит понять, что это значит. Cybertron V4 прошел через SFT через Magpie-Align/Magpie-Qwen2.5-Pro-1M-v0.1, доступный по адресу https://huggingface.co/bartowski/cybertron-v4-qw7B-MGS-GGUF MGS, среди прочего… стратегия борьбы с забывчивостью корпусов. Спасибо @rombodawg за вклад в бесплатное использование пространства вывода, размещенного по адресу: https://huggingface.co/spaces/rombodawg/Tryfblgitcybertron-v4-qw7B-MGS. Во время обучения использовались следующие гиперпараметры: — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 8 — totaltrainbatchsize: 128 — totalevalbatchsize: 16 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — num_epochs: 1 — PEFT 0.13.2 — Трансформаторы 4.45.2 — Pytorch 2.3.0+cu121 — Наборы данных 3.0.1 — Токенизаторы 0.20.1
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: fblgit
Теги: qwen2, generated_from_trainer, conversational, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 16 | Загрузок: 35
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
