Это седьмой (Lucky!) из серии моделей, предназначенных для воспроизведения качества прозы моделей Claude 3, а именно Sonnet и Opus. Эта модель точно настроена поверх Qwen-2 72B Instruct. Модель была настроена с помощью форматирования ChatML. Типичный вход будет выглядеть следующим образом: — anthracite-org/Stheno-Data-Filtered — anthracite-org/kalo-opus-instruct-22k-no-refusal — anthracite-org/nopmclaudewriting_fixed Эта модель была командной, и кредиты достаются всем членам Anthracite. Обучение проводилось в течение 2 эпох. Для полнопараметрической доводки модели мы использовали 8x AMD Instinct™ MI300X Accelerators. Мы также тренировались с падением веса 0,01, чтобы помочь еще больше стабилизировать траекторию потерь и смягчить катастрофическое забывание, а также использовать пиковую скорость обучения 4e-6, чтобы предотвратить слишком значительное падение потерь 2-й эпохи (поскольку это сильный показатель переобучения). !image/png Sample Packing был сделан для 16 000 токенов, а не для 8 000 токенов, используемых в наших предыдущих запусках.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: anthracite-org
Теги: gguf, chat, en, fr, de, es, it, pt
Лайков: 3 | Загрузок: 2,120
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
