Phi-2 настроен на наборе данных инструкций CodeAlpaca 20k с использованием метода QLoRA с библиотекой PEFT. Фи-2 — Трансформер с 2,7 миллиардами параметров. Он был обучен с использованием тех же источников данных, что и Phi-1.5, дополненных новым источником данных, состоящим из различных синтетических текстов НЛП и отфильтрованных веб-сайтов (в целях безопасности и образовательной ценности). При сравнении с тестами, проверяющими здравый смысл, понимание языка и логическое мышление, Phi-2 продемонстрировал почти современную производительность среди моделей с менее чем 13 миллиардами параметров. CodeAlpaca_20K: содержит 20 000 данных о выполнении инструкций, используемых для точной настройки модели Code Alpaca. Во время обучения использовалась следующая конфигурация квантования bitsandbytes: — quantmethod: bitsandbytes — loadin8bit: True — loadin4bit: False — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: fp4 — bnb4bitusedoublequant: False — bnb4bitcompute_dtype: float32 Во время обучения использовались следующие гиперпараметры: — скорость обучения: 2.5e-05 — trainbatchsize: 4 — evalbatchsize: 8 — начальное число: 66 -gradientaccumulationsteps: 32 — totaltrainbatchsize: 128 -…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: mrm8488
Теги: phi-msft, generated_from_trainer, code, coding, phi-2, phi2, mlx, custom_code
Лайков: 27 | Загрузок: 572
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
