Эта модель инструкций была построена посредством точной настройки QLoRA с эффективными параметрами falcon-180b на первых 5 тысячах строк ehartford/dolphin и первых 5 тысяч строк гаража-bAInd/Open-Platypus. Точная настройка выполнялась на четырех процессорах A6000 (48 ГБ RTX) в течение примерно 32 часов на платформе Lambda Labs. Для запуска приведенных ниже тестов производительности мы используем программу оценки языковой модели Eleuther.AI, ту же версию, что и Open LLM Leaderboard от Hugging Face. Приведенная выше кривая потерь была получена на основе частного журнала wandb.ai. Пользователь: > Напишите мне нумерованный список того, чем можно заняться в Нью-Йорке. Falcon-180B-Instruct-v0.1: > 1. Посетите Эмпайр-стейт-билдинг: полюбуйтесь захватывающим видом на город со смотровой площадки на 86-м этаже. > > 2. Прогуляйтесь по Центральному парку: насладитесь пышной зеленью, озерами и различными достопримечательностями этого культового городского парка. > > 3. Исследуйте Метрополитен-музей: полюбуйтесь огромной коллекцией произведений искусства со всего мира, насчитывающей тысячи лет. > > 4. Посмотрите бродвейское шоу: испытайте волшебство живого театра в одном из самых известных театральных районов мира. > > 5. Прогуляйтесь по Бруклинскому мосту: полюбуйтесь потрясающим видом на горизонт Манхэттена и восток…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: dfurman
Теги: peft, falcon
Лайков: 4 | Загрузок: 25
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
