Это экспериментальная модель, обученная Кирмом на 2 3090-х годах на новом наборе данных Dolphin 2.8 Эрика Хартфорда https://erichartford.com/dolphin 🐬 Придумайте зловещий розыгрыш, включающий телепортацию, которая приводит жертву в полное замешательство. Напишите саркастическое письмо недовольного сотрудника своему начальнику, наполненное тонкими уколами и завуалированными угрозами. Составьте стихотворение, описывающее возвышение и правление успешного злонамеренного короля, который правил посредством страха и манипуляций. Целью проекта TinyLlama является предварительное обучение модели Llama размером 1,1 млрд на 3 триллионах токенов. При правильной оптимизации мы можем достичь этого «всего» за 90 дней, используя 16 графических процессоров A100-40G 🚀🚀. Обучение началось 01.09.2023. Мы использовали точно такую же архитектуру и токенизатор, что и Llama 2. Это означает, что TinyLlama можно подключать и использовать во многих проектах с открытым исходным кодом, созданных на основе Llama. Кроме того, TinyLlama компактна и имеет всего 1,1 млрд параметров. Эта компактность позволяет ему обслуживать множество приложений, требующих ограниченного объема вычислений и памяти. Эта коллекция содержит все контрольные точки после исправления 1T. Имя ветки указывает шаг и количество видимых токенов.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: QuixiAI
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 62 | Загрузок: 6,137
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
