— Кодовая база: github.com/jzhang38/TinyLlama — Технический отчет: arxiv.org/pdf/2401.02385 Мы приняли точно такую же архитектуру и токенизатор, что и Llama 2. Это означает, что TinyLlama можно подключить и использовать во многих проектах с открытым исходным кодом, основанных на Llama. Кроме того, TinyLlama компактна и имеет всего 1,1 млрд параметров. Эта компактность позволяет ему обслуживать множество приложений, требующих ограниченного объема вычислений и памяти. В этом проекте вместо обучения одной модели TinyLlama мы сначала обучаем TinyLlama на корпусе из 1,5 триллионов токенов, чтобы получить базовые языковые возможности. Впоследствии мы берем эту модель и превращаем ее в три разные модели путем непрерывного предварительного обучения с тремя различными выборками данных. Наглядное представление этого процесса представлено на рисунке ниже. Из-за этих проблем (ошибка1, ошибка2). Мы пытаемся переобучить нашу TinyLlama, чтобы создать лучшую модель. Мы обучаем нашу модель с помощью токенов 2T и разделяем предварительное обучение на 3 различных этапа: 1) базовое предварительное обучение, 2) постоянное предварительное обучение с определенной областью и 3) восстановление. На этом начальном этапе нам удалось обучить нашу модель только с помощью слимпажамы, чтобы развить ее здравый смысл…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TinyLlama
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 847
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
