anthracite-org/magnum-v2-72b - Каталог нейросетей
Генерация текста

anthracite-org/magnum-v2-72b

Добавлено:
anthracite-org/magnum-v2-72b

Это седьмая (счастливая!) модель в серии, призванной воспроизвести прозаическое качество моделей Claude 3, в частности Sonnet и Opus. Эта модель доработана на базе Qwen-2 72B Instruct. Модель была настроена с учетом форматирования ChatML. Типичный ввод будет выглядеть так: — anthracite-org/Stheno-Data-Filtered — anthracite-org/kalo-opus-instruct-22k-no-refusal — anthracite-org/nopmclaudewriting_fixed Эта модель является результатом командной работы, и заслуга принадлежит всем членам Anthracite. Обучение проводилось в течение 2 эпох. Для полнопараметрической точной настройки модели мы использовали 8 ускорителей AMD Instinct™ MI300X. Мы также тренировались со снижением веса 0,01, чтобы помочь еще больше стабилизировать траекторию потерь и смягчить катастрофическое забывание, а также использовали пиковую скорость обучения 4e-6, чтобы предотвратить слишком значительное падение потерь во 2-й эпохе (поскольку это сильный индикатор переобучения). !image/png Пример упаковки был выполнен для токенов размером 16 000, а не для токенов по 8 000, которые использовались в наших предыдущих запусках.

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: anthracite-org
Теги: qwen2, chat, conversational, en, fr, de, es, it
Лайков: 40  |  Загрузок: 22

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.