SmolTulu-1.7b-Instruct — первая модель в серии моделей, предназначенных для использования конвейера постобучения Tulu 3 от AllenAI для настройки базовой версии SmolLM2-1.7b от Huggingface! Посттренировочный конвейер, который придумал AllenAI, показался мне идеальным для применения здесь. Эта модель получила самый высокий текущий балл как в IFEval, так и в GSM8k (после SmolTulu-1.7b-Reinforced), сохраняя при этом чрезвычайно низкий уровень загрязнения в Tulu 3 и SmolLM2! Я перечислил наборы данных, используемые для этапов SFT (контролируемая точная настройка) и DPO (прямая оптимизация предпочтений). Важно отметить: эта модель прошла только SFT и DPO! Версию RLVR можно найти здесь, SmolTulu-1.7b-Reinforced. Я провел эти оценки, используя оценочный код SmolLM2 для более объективного сравнения. Модель была обучена с использованием оптимизации прямых предпочтений (DPO) со следующей конфигурацией: — Базовая модель: SmolLM2-1.7B с запущенным конвейером SFT AllenAI — Смешанная точность: bfloat16 — Скорость обучения: 8e-7 с линейным планировщиком — Коэффициент прогрева: 0,1 — Эпохи обучения: 1 — Эффективный размер пакета: 12 — Длина последовательности: 4096 токенов — Потери DPO: нормализованы по длине DPO — бета-версия DPO: 5.0 — включена контрольная точка градиента —…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: SultanR
Теги: llama, Tulu3, Smollm, SLMs, Small, Huggingface, Allenai, SFT
Лайков: 13 | Загрузок: 74
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
