ProLong (принстонские языковые модели с длинным контекстом) — это семейство моделей с длинным контекстом, которые постоянно обучаются и контролируются с помощью Llama-3-8B, с максимальным контекстным окном в 512 000 токенов. Наша основная модель ProLong — одна из самых эффективных моделей с длинным контекстом в масштабе 10B (по оценке HELMET). Чтобы обучить эту сильную долгоконтекстную модель, мы проводим тщательную абляцию данных предварительного обучения, данных SFT и множества других вариантов дизайна. Мы демонстрируем наши выводы в нашей статье «Как обучать языковые модели с длинным контекстом (эффективно)». Авторы: Тянью Гао, Александр Веттиг, Говард Йен, Даньци Чен (*равный вклад) — Princetonnlp/Llama-3-8B-ProLong-64k-Base — Princetonnlp/Llama-3-8B-ProLong-64k-Instruct ← вы здесь! — Princetonnlp/Llama-3-8B-ProLong-512k-Base — ⭐ Princetonnlp/Llama-3-8B-ProLong-512k-Instruct Вот несколько кратких фактов о нашей основной модели ProLong: Princeton-nlp/Llama-3-8B-ProLong-512k-Instruct. Базовая модель: мета-лама/Мета-Ллама-3-8B-Instruct Непрерывное обучение в длительном контексте: 20 миллиардов токенов на обучающих данных 64 КБ (princeton-nlp/prolong-data-64K) и 20 миллиардов токенов на тренировочных данных 512 КБ (princeton-nlp/prolong-data-512K) Контролируемое…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: princeton-nlp
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 8,593
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
