Эта модель представляет собой доработанную QLoRA версию ai21labs/Jamba-v0.1 в наборе данных chargoddard/Open-Platypus-Chat. Он был обучен на 2xA100 80 ГБ с использованием моего ноутбука LazyAxolotl — Jamba. Этот репозиторий содержит как адаптер, так и объединенную модель с точностью FP16. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0002 — trainbatchsize: 1 — evalbatchsize: 1 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 2 -gradientaccumulationsteps: 8 — totaltrainbatchsize: 16 — totalevalbatchsize: 2 — оптимизатор: Адам с betas=(0,9,0,95) и epsilon=1e-05 — lrschedulertype: cosine — lrschedulerwarmupsteps: 10 — num_epochs: 1 — PEFT 0.10.0 — Transformers 4.40.0.dev0 — Pytorch 2.1.2+cu118 — Datasets 2.18.0 — Tokenizers 0.15.0 Следующий код создает интерфейс чата Gradio с Джамбатипус.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mlabonne
Теги: jamba, axolotl, conversational, custom_code, en, endpoints_compatible, 4-bit, bitsandbytes
Лайков: 39 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
