В этой серии репозиториев мы представляем репродукцию больших языковых моделей LLaMA и LLaMa 2 от Meta AI с открытым исходным кодом. Однако при значительно уменьшенных размерах модели экспериментальная версия llama1s имеет 1,8B параметров, а экспериментальная версия llama2xs — 460M параметров. («s» означает «маленький», а «xs» означает «очень маленький»). Мы обучаем наши модели на части набора данных RedPajama. Мы используем GPT2Tokenizer для токенизации текста. Экспериментальные контрольные точки могут быть загружены напрямую из библиотеки Transformers. В следующем фрагменте кода показано, как загрузить нашу экспериментальную модель и сгенерировать с ее помощью текст. Эту экспериментальную версию разработал Сяотянь Хань из Техасского университета A&M. И эти экспериментальные версии предназначены только для исследований.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ahxt
Теги: llama, llama2, llama-2, llama2 architecture, en, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 962
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
