1. Краткое описание модели 2. Конвейер постобучения 3. Как использовать 4. Обучение 5. Оценка 6. Ограничения 7. Благодарности 8. Архитектура лицензии: преобразователь только для декодера (магистральная сеть SmolLM2, которая фактически является моделью на основе Llama 3). Параметры: ~135М. Точность**: смешанная точность (bfloat16) во время обучения. Платформы обучения: PyTorch (ROCm), Hugging Face Transformers и TRL. Аппаратное обеспечение: AMD MI300X (192 ГБ видеопамяти, 224 ГБ оперативной памяти). 1. Этап 1 – SFT (без рассуждений) ~58 тыс. образцов, повседневные разговоры и следование инструкциям. 2. Этап 2 – SFT (рассуждение) ~78 тыс. выборок с сегментами. 3. Этап 3 – DPO (выравнивание) * ~50 тыс. пар предпочтений (выбранные и отвергнутые следы рассуждений). —————— | —————————- | ————————- | —————————- | — @HotAisle за предоставление вычислительных ресурсов для обучения всех трех этапов на потрясающей установке AMD MI300x. — @mkurman88 за идеи, отзывы и примеры кода. — Команда HuggingFaceTB для модели SmolLM2-135M-Instruct и коллекции наборов данных Smoltalk2. — @scottgeng00 для набора данных OLmO-3-Preference-Mix-Deltas. — @eliebakouchi за помощь с токенизацией.
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: Shekswess
Теги: llama, trl, dpo, preference-alignment, reasoning, generated_from_trainer, conversational, text-generation-inference
Лайков: 46 | Загрузок: 80
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
