ProLong (принстонские языковые модели с длинным контекстом) — это семейство моделей с длинным контекстом, которые постоянно обучаются и контролируются с помощью Llama-3-8B, с максимальным контекстным окном в 512 000 токенов. Наша основная модель ProLong — одна из самых эффективных моделей с длинным контекстом в масштабе 10B (по оценке HELMET). Чтобы обучить эту сильную долгоконтекстную модель, мы проводим тщательную абляцию данных предварительного обучения, данных SFT и множества других вариантов дизайна. Мы демонстрируем наши выводы в нашей статье «Как обучать языковые модели с длинным контекстом (эффективно)». Авторы: Тяньюй Гао, Александр Веттиг, Говард Йен, Даньци Чен (*равный вклад) — Princetonnlp/Llama-3-8B-ProLong-64k-Base ← вы здесь! — Princetonnlp/Llama-3-8B-ProLong-64k-Instruct — Princetonnlp/Llama-3-8B-ProLong-512k-Base — ⭐ Princetonnlp/Llama-3-8B-ProLong-512k-Instruct Вот несколько кратких фактов о нашей основной модели ProLong: Princeton-NLP/Llama-3-8B-ProLong-512k-Instruct. Базовая модель: мета-лама/Мета-Ллама-3-8B-Instruct Непрерывное обучение в длительном контексте: 20 миллиардов токенов на обучающих данных 64 КБ (princeton-nlp/prolong-data-64K) и 20 миллиардов токенов на тренировочных данных 512 КБ (princeton-nlp/prolong-data-512K) Контролируемое…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: princeton-nlp
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 8,051
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
