!image/png Это вторая модель в серии, призванной воспроизвести прозаическое качество моделей Claude 3, в частности Sonnet и Opus. Данная модель доработана поверх Qwen1.5 32B. Модель была настроена с учетом форматирования ChatML. Типичный ввод будет выглядеть следующим образом: три новых набора данных инструкций общего назначения были добавлены поверх исходного набора данных Stheno (в котором были удалены/очищены некоторые записи низкого качества). Первые два были разработаны специально для серии Magnum, чтобы лучше обеспечить быстрое соблюдение и согласованность: — kalomaze/OpusInstruct25k — Nopm/Opus_WritingStruct — Gryphe/Sonnet3.5-SlimOrcaDedupCleaned (подмножество ~ 16 тыс. строк). Эта модель была результатом командной работы, и заслуга принадлежит всем членам Anthracite. Обучение проводилось в течение 2 эпох со скоростью обучения 1e-05. Для полнопараметрической точной настройки модели мы использовали 8 графических процессоров NVIDIA H100 с тензорными ядрами.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: anthracite-org
Теги: qwen2, chat, conversational, en, zh, text-generation-inference, endpoints_compatible
Лайков: 27 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
