Этот репозиторий содержит адаптер низкого ранга для LLaMA-7b, подходящий для — Nebulous/gpt4allpruned — sahil2801/CodeAlpaca-20k — yahma/alpaca-cleaned` — наборов данных, являющихся частью проекта OpenAssistant. Эта версия весов была обучена со следующими гиперпараметрами: — Эпохи: 2 — Размер пакета: 128 — Максимальная длина: 2048 — Скорость обучения: 4e-6 — Lora r: 8 — Lora Alpha: 32 — Целевые модули Lora: qproj, kproj, vproj, oproj Модель обучалась с использованием мгновенного внимания и контрольной точки градиента. — Разработано в рамках проекта OpenAssistant. — Тип модели: Адаптер PEFT для замороженного LLaMA. — Язык: английский. Для обозначения начала поворотов пользователя и помощника используются два специальных жетона: и . Каждый ход заканчивается жетоном. Ввод заканчивается токеном, сигнализирующим о том, что модель должна начать генерировать ответ помощника.
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: jordiclive
Теги: sft, en
Лайков: 39 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
