bhenrym14/airoboros-l2-13b-2.1-YaRN-64k - Каталог нейросетей
Генерация текста

bhenrym14/airoboros-l2-13b-2.1-YaRN-64k

Добавлено:
bhenrym14/airoboros-l2-13b-2.1-YaRN-64k

Это усовершенствованная версия NousResearch/Yarn-Llama-2-13b-64k, которая представляет собой базовую версию Llama-2-13b с дополнительной предварительной тренировкой, выполненной с использованием масштабирования YaRN, примененного к RoPE, для увеличения полезной длины контекста до 64 000 токенов. Начиная с этой модели, я выполнил настройку инструкций с использованием набора данных Джона Дурбина Airoboros 2.1, применив тот же подход масштабирования. Точная настройка выполнялась с использованием 1x RTX 6000 Ada (около 16 часов). YaRN не реализован в Transformers изначально. Предварительно обученная YaRN модель NousResearch/Yarn-Llama-2-13b-64k содержит замену архитектуры llama, которая взаимодействует с включенным файлом конфигурации. Чтобы максимизировать совместимость, я включил версию, в которой отсутствует вспышка. Поэтому для запуска с использованием Transformers вам необходимо передатьtrustremotecode=True. Метод PNTK, использованный в другой моей модели bhenrym14/airophin-13b-pntk-16k-fp16, очень похож на YaRN. Для GPTQ у меня есть патч exllama, который я могу адаптировать для YaRN, но сообщество, похоже, заинтересовано в быстрой реализации YaRN в общих библиотеках, так что я могу не беспокоиться. Пожалуйста, задавайте вопросы и отзывы о том, как работает эта модель, особенно при большой длине контекста! Использование Ооба: Обязательно увеличьте…

Модальности:
Генерация текста


Задача: Генерация текста
Автор: bhenrym14
Теги: llama, custom_code, text-generation-inference, endpoints_compatible
Лайков: 7  |  Загрузок: 34

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.