Этот репозиторий содержит веса Lora (8 бит) для Falcon-7b, подходящие для набора данных Code Alpaca. Эта версия весов была обучена со следующими гиперпараметрами: — Эпохи: 6 — Размер пакета: 128 — Размер микро-пакета: 8 — Скорость обучения: 3e-4 — Lora r: 8 — Целевые модули Lora: querykeyvalue Убедитесь, что вы установили требования и выполнили тонкую настройку с помощью этой команды:
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: jinaai
Теги: en
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
