Эта информация была обучена на 250 тысячах пар сообщений и ответов из 43 различных финансовых, инвестиционных и крипто-субреддитов. Это не модель инструкций, она предназначена для генерации ответа на текстовое сообщение Reddit. Это был эксперимент по тонкой настройке под конкретные задачи. Используйте его ответственно * Обучение заняло около 30 часов на 5×3090 и использовало почти 23 ГБ видеопамяти на каждом. DDP использовался для параллелизма Pytorch. * 1 заслуживающее внимания изменение, о котором я сейчас упомяну: оно было обучено с помощью casualLM, а не с помощью seq2seq, как это было в ряде других моделей инструкций. Я не могу объяснить, почему они использовали seq2seq для сортировщиков данных, кроме того, что изначально использовала Alpaca Lora. Лама как генеративная модель была обучена для casualLM, поэтому для меня имеет смысл использовать ее при точной настройке. — 250 000 пар публикаций и топ-комментариев из 43 финансовых, инвестиционных и крипто-субреддитов. Для этой версии были выбраны только текстовые сообщения. После нормализации из каждого субреддита выбиралось наибольшее количество комментариев и публикаций. Все данные датированы до 2023 года. Это лора, и ее необходимо загрузить с помощью ламы 7B, например, в text-generation-webui, https://github.com/oobabooga/text-generation-webui/blob/main/docs/Using-LoRAs.md Редактирование…
Модальности:
Генерация текста
Области применения:
Финансы
Задача: Генерация текста
Автор: winddude
Теги: finance, llama, lora, en, endpoints_compatible
Лайков: 13 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
