Gradient объединяет ваши данные для развертывания автономных помощников, которые обеспечивают выполнение критически важных операций в вашем бизнесе. Если вы хотите создавать собственные модели или агенты ИИ, напишите нам по адресу contact@gradient.ai. Эта модель расширяет длину контекста LLama-3 70B с 8 КБ до > 1048 КБ, разработанная компанией Gradient при финансовой поддержке вычислительной компании Crusoe Energy. Это демонстрирует, что специалисты SOTA LLM могут научиться работать в длинном контексте с минимальной подготовкой, соответствующим образом корректируя тету RoPE. Для этого этапа мы обучили 34 миллиона токенов и всего около 430 миллионов токенов для всех этапов, что составляет <0,003% от исходных данных предварительного обучения Llama-3. — мета-лама/Мета-Ллама-3-70B-Instruct в качестве основы — Интерполяция с поддержкой NTK [4] в соответствии с законами масштабирования [2] для установки оптимального расписания для теты RoPE — Прогрессивное обучение увеличению длины контекста, аналогично модели большого мира [1] (подробности см. ниже) Мы основываемся на библиотеке EasyContext Blockwise RingAttention [5] для масштабируемого и эффективного обучения на очень длинных контекстах с высокой производительностью Crusoe Energy Кластер L40S. Мы добавили параллелизм поверх Ring Attention с настраиваемой сетевой топологией, чтобы лучше использовать большие кластеры графических процессоров в условиях узких мест в сети из-за…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: gradientai
Теги: llama, meta, llama-3, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 122 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
