Мой первый запуск, 8192 ctx qlora, обучался на датасете AEZAKMI-3_6. База, кажется, не слишком скошена, но тонкая настройка не велика — много наклонных GPT, «важно помнить» и т. д. Тем не менее, это выглядит без цензуры, поэтому, если вас не устраивает Llama-3-8B-Instruct, это может быть вариантом, пока не выйдет больше лучших тонких мелодий. Формат подсказки ChatML. Сценарий обучения ниже. Потребовалось около 8 часов на 3090 Ti через нечистоту. Результаты подсказки теста можно найти в моем разном репозитории
Модальности:
Генерация текста
Задача: Генерация текста
Автор: adamo1139
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 26
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.