Эта модель была обучена на созданном мной наборе данных OpenHermes, который насчитывает более 240 000 синтетических точек данных, созданных в основном GPT-4. Phi не поддерживает device_map «auto» и, похоже, не хочет делать выводы в fp16, поэтому используйте bf16. Вот рабочий код вывода, хотя его можно улучшить: Обучение с помощью Аксолотля. Просмотрите прогоны wandb для всех моих прогонов тупиков (это puffin-phi-4 на wandb): https://wandb.ai/teknium1/hermes-phi/runs/hermes-phi-1
Модальности:
Генерация текста
Задача: Генерация текста
Автор: teknium
Теги: mixformer-sequential, custom_code, en
Лайков: 44 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
