Sheared-LLaMA-2.7B — это модель, обрезанная и предварительно обученная на основе мета-ламы/Llama-2-7b-hf. Мы динамически загружаем данные из разных доменов в набор данных RedPajama. Мы используем токены 0,4 млрд для сокращения и токены 50 млрд для дальнейшего предварительного обучения сокращенной модели. Эту модель можно загрузить в HuggingFace через — Меньший масштаб — Тот же словарный запас, что и LLaMA1 и LLaMA2 — Получен с бюджетом в 50 миллиардов токенов за счет использования существующих надежных LLM. Мы оцениваем обширный набор последующих задач, включая рассуждение, понимание прочитанного, языковое моделирование и наукоемкие задачи. Наши модели Sheared-LLaMA превосходят существующие модели больших языков.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: princeton-nlp
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 61 | Загрузок: 1,293
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
