Эта модель представляет собой доработанную версию TinyLlama/TinyLlama-1.1B-intermediate-step-955k-token-2T в наборе данных None. В наборе оценок достигаются следующие результаты: — Потеря: 0,0598 — Эта модель используется для разделения текстов с учетом контекста. Используется для приложений RAG. — Эта модель основана на TinyLLaMA 1.1b. Она использует формат Alpaca: Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0002 — размер обучающей партии: 8 — размер evalbatchsize: 8 — начальное значение: 42 — градиентная аккумуляция шагов: 16 — общий размер обучающей партии: 128 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: cosine — lrschedulerwarmupsteps: 10 — numepochs: 3 — Трансформаторы 4.35.2 — Pytorch 2.0.1+cu118 — Наборы данных 2.15.0 — Токенизаторы 0.15.0
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mhenrichsen
Теги: llama, generated_from_trainer, en, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
