Это тест тонкой настройки qlora модели mpt-30b, с 5 эпохами. Модель, совместимая с qlora: https://huggingface.co/jondurbin/mpt-30b-qlora-совместимая Моя вилка qlora с поддержкой mpt-30b: https://github.com/jondurbin/qlora — требует добавления —mpt True для моделей на основе mpt — использует —numtrainepochs вместо —maxsteps` — использует формат приглашения airoboros (в основном 1:1 с викуньей), а не alpaca и ожидает входной файл в формате JSONL с «инструкцией» и «ответом». Я думаю, что есть ошибка в накоплении градиента, поэтому, если вы попробуете это, возможно, установите шаги накопления градиента на 1. Подробности обучения см. в карточке модели, совместимой с mpt-30b-qlora. К сожалению, после разовых испытаний это не кажется таким качественным, как версии llama-33b, но у меня нет четкого ответа, почему. Возможно, есть меньше прямых слоев, которые можно настроить? В основном это расширение предыдущей серии gpt-4, но это первая серия, в основе которой лежит mpt-30b, а также несколько дополнений: исправленные (+ дополнительные примеры) примеры кодирования многосимвольных многоповоротных диалогов на 10 языках из набора данных Rosettacode.org благодаря Майку, также известному как kryptkpr:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jondurbin
Теги: mpt, custom_code, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
