Мы представляем копию LLaMa 2 от Meta AI с открытым исходным кодом. Однако при значительно уменьшенных размерах модели LiteLlama-460M-1T имеет 460M параметров, обученных с помощью токенов 1T. Мы обучаем наши модели на части набора данных RedPajama. Мы используем GPT2Tokenizer для токенизации текста. Модель была обучена с использованием токенов ~1T (0,98T). количество токенов = Stepslengthbatchsize=4996791024*192=98240888832≈0,98T. Экспериментальные контрольные точки могут быть загружены напрямую из библиотеки Transformers. В следующем фрагменте кода показано, как загрузить нашу экспериментальную модель и сгенерировать с ее помощью текст. Эта модель была разработана Сяотянь Ханем из Техасского университета A&M в лаборатории DATA под руководством профессора Ся «Бен» Ху, и модель выпущена под лицензией MIT.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ahxt
Теги: llama, llama2, llama-2, llama2 architecture, litellama, en, text-generation-inference, endpoints_compatible
Лайков: 168 | Загрузок: 1,236
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
