В этом репозитории содержатся предварительные версии модели ML1 — Reddit Post Watch, обучение в прямом эфире: https://api.wandb.ai/links/nickmitchko/t5d47kzr. Цель — разработать серию моделей, которые смогут продемонстрировать превосходную производительность при наличии данных высокого качества. Чтобы добиться этого, я планирую поэкспериментировать с прекрасным набором данных, созданным /u/docsoc1. Огромный привет ему/ей! Если вы хотите просмотреть этот набор данных, ссылка находится ниже. Модель обучена в формате альпаки. Пожалуйста, посмотрите этот формат здесь или ниже: nmitchko/ML1-34b-previews — это большой репозиторий языковых моделей контрольных точек LoRA, специально настроенный для добавления синтезированных из учебника данных в стиле Phi 1/1.5. Он основан на коделламе-34b-hf с 34 миллиардами параметров. Основная цель этой модели — протестировать различные методы точной настройки на основе высококачественных данных. Он был обучен с использованием LoRA, в частности QLora Multi GPU, для уменьшения объема памяти. Для получения дополнительной информации см. «Параметры обучения». Эта Lora поддерживает 4-битные и 8-битные режимы. Шаги для загрузки этой модели: 1. Загрузите базовую модель (codellama-34b-hf) с помощью трансформеров. 2. Загрузите папку контрольных точек (checkpoint-1). 3. Примените LoRA с помощью peft. В настоящее время модель проходит обучение на…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nmitchko
Теги: peft, en
Лайков: 4 | Загрузок: 1
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
