Llama 3 70B Instruct, дополнительно настроенный на наборе данных, состоящем из книг художественного жанра. Это был всего лишь эксперимент, но он оказался настолько удачным, что я делюсь им. Точная настройка привела к значительному изменению стиля письма модели и, похоже, сделала его более творческим. Возможно небольшое снижение общего интеллекта. Поскольку это было обучено на Instruct, вы можете использовать обычное форматирование чата Instruct. Он также может хорошо работать в режиме необработанного завершения. Тренировался на 4 4090 с использованием qlora-pipe. Датасет состоит из около 800 книг художественного жанра общим объемом 570 МБ необработанного текста. QLoRA 64-го ранга обучен на длине последовательности 8192. Я несколько раз пытался обучить это на Llama 3 8B Instruct, используя различные гиперпараметры. Это никогда не работало хорошо. Модель каждый раз сильно теряла интеллект, вплоть до того, что стала непригодной для использования. У 70B дела обстоят намного лучше. Я не знаю почему, возможно, 8B слишком мал для такого типа техники и теряет слишком много интеллектуальных функций, настраиваемых с помощью инструкций.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: tdrussell
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
