🤖 [Набор данных LongWriter] • 💻 [Репозиторий Github] • 📃 [LongWriter Paper] • 📃 [Технический отчет] MS-LongWriter-Qwen2.5-7B-Instruct обучен на основе https://modelscope.cn/models/qwen/Qwen2.5-7B-Instruct и способен генерировать более 10 000 слов одновременно. MS-LongWriter-Qwen2.5-7B-Instruct начинает обучение непосредственно с Qwen2.5-7B-Instruct, одновременно выполняя значительную перегонку на LongWriter-6k для получения 666 высококачественных выборок, которые фильтруются LongWriter-6k 1. Фильтруется LongWriter-6k на основе LongWriter-6k 2. Magpie-Qwen2-Pro-200K-Chinese, случайная выборка 6к примеров. 3. Magpie-Qwen2-Pro-200K-английский, случайная выборка 6к примеров. Стратегия отжига используется для улучшения производительности модели в процессе постобучения. Мы используем набор данных, отфильтрованный LongWriter-6k, для точной настройки модели с отжигом и устанавливаем скорость обучения 2e-6. Run: Если наша работа окажется для вас полезной, пожалуйста, процитируйте нашу статью и пометьте наши репозитории на GitHub. 1. Файл:666条数据教会AI写万字长文！模型数据集都开源 2. Технический отчет: Минимальная настройка для разблокировки длинных выходных данных от LLM с высококачественными данными в качестве ключа
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: C10X
Теги: qwen2, Long Context, qwen2.5, conversational, en, zh, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
