Целью проекта TinyLlama является предварительное обучение модели Llama размером 1,1 млрд на 3 триллионах токенов. При правильной оптимизации мы можем достичь этого «всего» за 90 дней, используя 16 графических процессоров A100-40G 🚀🚀. Обучение началось 01.09.2023. Мы использовали ту же архитектуру и токенизатор, что и Llama 2. Это означает, что TinyLlama можно подключать и использовать во многих проектах с открытым исходным кодом, созданных на основе Llama. Кроме того, TinyLlama компактна и имеет всего 1,1 млрд параметров. Эта компактность позволяет ему обслуживать множество приложений, требующих ограниченного объема вычислений и памяти. Это код LM, настроенный (или так называемый продолженный предварительный анализ) из контрольной точки 500B TinyLlama с другими данными Python 7B из данных starcoderdata. Хотя данные для точной настройки предназначены исключительно для Python, модель сохраняет свои возможности на многих других языках, таких как C или Java. Его можно использовать в качестве черновой модели для спекулятивного декодирования более крупных моделей, таких как модели семейства CodeLlama.
Модальности:
Генерация текста
Языки программирования:
Python
Задача: Генерация текста
Автор: TinyLlama
Теги: gguf, llama, en, text-generation-inference, endpoints_compatible
Лайков: 16 | Загрузок: 1,500
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
