Abacus.AI представляет наш вариант Llama 3 70B с удлиненной шеей — теперь и с инструктирующим вариантом! Эта модель имеет эффективную длину контекста примерно 128 КБ. Вот результаты нашей тепловой карты «Иголка в стоге сена». Мы проводим дальнейшие оценки эффективности модели и будем обновлять нашу карточку модели по мере ее поступления. Мы также измерили производительность на MT-Bench, чтобы убедиться, что расширение контекста не оказало существенного влияния на производительность при выполнении задач инструкций: методология обучения использует PoSE и интерполяцию динамического NTK. Масштабный коэффициент для NTK равен 4. Обратите внимание, что мы также пробовали тета-масштабирование, но в наших экспериментах оно не сработало так же хорошо, как масштабирование NTK. Мы используем позиционное обучение с пропуском (PoSE) со следующими параметрами: Мы используем реализацию EasyContext «Иголки в стоге сена» для оценки Llama-3-Giraffe-70B. — Минимальная длина контекста: 2000 — Максимальная длина контекста: 128000 — Интервал контекста: 4000 — Интервал глубины: 0,1 — Число выборок: 2 — Число цифр Rnd: 7 — Каталог Haystack: PaulGrahamEssays Сначала мы применяем вышеуказанные методы к Llama-3-70B-Base, используя LoRA только для весов Q и K. Затем этот адаптер применяется к Llama-3-70B-Instruct, и мы выпускаем объединенную версию здесь.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: abacusai
Теги: llama, meta, llama-3, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
