📣 Нам еще предстоит завершить множество экспериментов (подробности здесь), требующих дополнительных вычислительных ресурсов в нашей лаборатории. Если какие-либо профессионалы отрасли, читающие это, готовы оказать помощь, напишите нам по адресу sporia@sutd.edu.sg. Flacuna была разработана путем тонкой настройки Vicuna на Flan-mini, обширном сборнике инструкций, охватывающем различные задачи. Викуна уже является отличным помощником по письму, и целью Флакуны было расширить возможности Викуны по решению проблем. Для достижения этой цели мы создали специальный набор данных инструкций под названием Flan-mini. В результате этого процесса тонкой настройки Flacuna продемонстрировала заметное улучшение производительности при решении проблем на нескольких наборах эталонных данных, как в режиме с несколькими, так и с нулевыми попытками. Во время обучения Flacuna является контрольной точкой 13B LLaMA и использует максимальную длину входной последовательности 1280. Мы использовали LoRA для точной настройки с эффективным использованием параметров. Хотя Флакуна в первую очередь преуспевает в решении задач, мы приложили усилия, чтобы сохранить впечатляющие способности Викуны писать и общаться в чате. Для этого мы включили диалоговые наборы данных, сгенерированные GPT-4, такие как GPT-4-Alpaca и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: declare-lab
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 19 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
