Это моя первая тонкая настройка Puffin, которая, кажется, работает достаточно надежно! Эта модель была обучена на наборе данных Puffin, созданном LDJ, с использованием слегка измененной версии набора данных, в которой было удалено > 2000 записей токенов, поэтому во время обучения фи не будет никаких ранних отключений, поскольку ее контекст равен 2 КБ. Phi не поддерживает device_map «auto» и, похоже, не хочет делать вывод в fp16, поэтому используйте bf16. Вот рабочий код для вывода, хотя его можно улучшить: Формат приглашения — ShareGPT/Vicuna, поэтому он использует системную подсказку (по умолчанию в переменной sysprompt), а затем запрашивается так: Обучено с Axolotl. Просмотрите прогоны wandb для всех моих прогонов тупиков (это puffin-phi-4 на wandb): https://wandb.ai/teknium1/puffin-phi/runs/puffin-phi-4
Модальности:
Генерация текста
Задача: Генерация текста
Автор: teknium
Теги: mixformer-sequential, custom_code, en
Лайков: 39 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
