> [!NOTE] > Мы выпустили статью для OpenThoughts! См. нашу статью здесь. Эта модель представляет собой доработанную версию Qwen/Qwen2.5-32B-Instruct на наборе данных OpenThoughts-114k. Набор данных получен путем дистилляции DeepSeek-R1 с использованием конвейера данных, доступного на github. Более подробную информацию о наборе данных можно найти на карточке набора данных в наборе данных OpenThoughts-114k. Цифры, указанные в таблице ниже, рассчитаны с помощью нашего инструмента с открытым исходным кодом Evalchemy. Мы полностью с открытым исходным кодом. Веса нашей модели, наборы данных, код генерации данных, код оценки и код обучения — все это общедоступно. Мы настраиваем Qwen2.5-32B-Instruct на OpenThoughts-114k для 3 эпох с длиной контекста 16 КБ с помощью LlamaFactory. Полная конфигурация обучения представлена в нашем репозитории. Обучение модели 32B на OpenThoughts-114k проводилось на AWS SageMaker с 8 узлами H100 P5. На 4 узлах это заняло около 90 часов. Между тем, для обучения на OpenThoughts-Unverified-173k мы использовали 96 узлов 4xA100 (64 ГБ на GPU), обучение заняло 30 часов, потратив на суперкомпьютере Leonardo 11 520 часов A100. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 1e-05 — trainbatchsize: 1 — evalbatchsize: 8 -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: open-thoughts
Теги: qwen2, llama-factory, full, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 175 | Загрузок: 29
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
