Мы продолжили наши предыдущие обучающие прогоны, связанные с увеличением длины контекста моделей Llama. Соответствующий репозиторий GitHub содержит некоторые основные сведения о нашем подходе и показателях. Мы также опубликовали статью об arXiv, в которой более подробно освещаются наши эксперименты и анализ. — Разработано: Abacus.AI. — Тип модели: авторегрессионная языковая модель на основе трансформатора. — Лицензия: Лицензия сообщества Llama 2: https://github.com/facebookresearch/llama/blob/main/LICENSE. — Точная настройка на основе модели: Llama V2 70B. Чтобы использовать эту модель при большей длине, модель необходимо исправить для интерполяции более длинных контекстов. Не получится, если просто загрузить фреймворк трансформеров AutoModel. Подробную информацию и использование см. в разделе «Оценка» с подробным кодом загрузки и исправления модели для вывода (или дальнейшей тонкой настройки). Обратите внимание, в частности, что maxpositionembeddings не имеет значения, поскольку исправленный модуль динамически перераспределяет буферы позиций по мере необходимости. Токенизатор, соответствующий этой модели, — https://huggingface.co/abacusai/Giraffe-v1-Tokenizer. Используя код в репозитории, вы можете загрузить эту модель следующим кодом:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: abacusai
Теги: llama, llama2, conversational, text-generation-inference, endpoints_compatible
Лайков: 35 | Загрузок: 822
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
