DeepCoder-1.5B-Preview 🚀 Демократизация обучения с подкреплением для LLM (RLLM) 🌟 DeepCoder-1.5B-Preview — это LLM для рассуждения кода, тонко настроенный на основе DeepSeek-R1-Distilled-Qwen-1.5B с использованием распределенного обучения с подкреплением (RL) для масштабирования до больших длин контекста. Наш набор обучающих данных состоит примерно из 24 тысяч уникальных пар «проблема-тест», составленных из: — Taco-Verified — PrimeIntellect SYNTHETIC-1 — LiveCodeBench v5 (01.05.23-7.31.24). Наш рецепт обучения основан на улучшенной версии GRPO (GRPO+) и итеративном удлинении контекста, представленном в DeepScaleR. Мы улучшаем исходный алгоритм GRPO, используя идеи DAPO, чтобы обеспечить более стабильное обучение: — Автономная фильтрация сложности: DAPO использует динамическую онлайн-сэмплирование, отбрасывая на лету как полностью правильные, так и полностью неправильные образцы. Хотя это помогает поддерживать более стабильный эффективный размер партии, это приводит к значительным накладным расходам во время выполнения из-за отклонения выборки. Вместо этого мы выполняем автономную фильтрацию сложности для подмножества задач кодирования, чтобы гарантировать, что набор обучающих данных остается в подходящем диапазоне сложности. — Отсутствие потери энтропии: мы заметили, что включение термина «потеря энтропии» часто приводило к нестабильности, при этом энтропия…
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода
Задача: Генерация текста
Автор: agentica-org
Теги: qwen2, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 74 | Загрузок: 336
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
