— что такое LGeM, LGeM — это модель CausalLM, которая обучается на данных самообучения (данные Альпаки) и для инициализации первого поезда основной модели (веса доступны) Я использовал предварительные веса из Alpaca LoRA (с открытым исходным кодом) — это только декодер — встроенный Pytorch — вы можете просто импортировать такие модели — и код обучения доступен на LGeM-Train.py (проверьте источник) — параметры обучения — — скорость обучения 1e-4 — — AdamW (снижение веса 1e-2) — — партия 2 — — 100 80 ГБ, использованные для обучения (4 X)
Модальности:
Генерация текста
Задача: Генерация текста
Автор: erfanzar
Теги: llama, en, es, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
