🤗 [Набор данных LongAlign] • 💻 [Github Repo] • 📃 [LongAlign Paper] LongAlign — это первый полный рецепт выравнивания LLM в длинном контексте. Мы предлагаем набор данных LongAlign-10k, содержащий 10 000 данных инструкций длиной от 8 до 64 тысяч. Мы исследуем стратегии трианинга, а именно упаковку (с взвешиванием потерь) и сортировку пакетов, которые реализованы в нашем коде. Для реальной оценки длинного контекста мы представляем LongBench-Chat, который оценивает возможность следования инструкциям по запросам длиной 10–100 тысяч. Шаблон приглашения чата для LongAlign-7B-64k и LongAlign-13B-64k: ChatGLM3-6B-128k использует тот же шаблон приглашения, что и ChatGLM3-6B. Если наша работа окажется для вас полезной, пожалуйста, процитируйте LongAlign:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: zai-org
Теги: chatglm, feature-extraction, Long Context, custom_code, en, zh
Лайков: 5 | Загрузок: 70
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
