Эта модель представляет собой экспериментальную версию нашей последней инновации: MGS. Вам решать, что это значит, но это очень явно. Мы не применили наш известный алгоритм UNA к прямому проходу, но они полностью совместимы и работают в разных частях нейронной сети и по-разному, хотя их оба можно рассматривать как метод регуляризации. !TheBeagle-v2-MGS MGS означает… Поиск многих компьютерщиков… и все. Подсказка: 1+1 — это 2, а 1+1 — это не 3. Мы по-прежнему считаем, что 1 Эпохи должно быть достаточно, поэтому мы просто сделали только 1 Эпоху. Здесь использован первый приличный набор данных (по корпусу и размеру) на хабе: Magpie-Align/Magpie-Pro-300K-Filtered. Спасибо команде Magpie за то, что они внесли приличный материал, который, лично я считаю, очень хорошо удалить. В наборе оценок он достигает следующих результатов: — Потеря: 0,5378 (1 эпоха), что превосходит базовую модель. Помимо Qwen LICENSE, мы добавляем дополнительный термин для производных, включая «Beagle» или «MGS» в название модели, это поможет нам лучше отслеживать исследование. Спасибо. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 8e-05 — trainbatchsize: 2 — evalbatchsize: 2 — начальное число: 42 — распределенный тип:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: fblgit
Теги: qwen2, conversational, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 48
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
