Эта модель представляет собой точно настроенный параметр LLM 7B на процессоре Intel Gaudi 2 из mistralai/Mistral-7B-v0.1 в наборе данных с открытым исходным кодом Open-Orca/SlimOrca. Модель была согласована с использованием метода прямой оптимизации производительности (DPO) с Intel/orcadpopairs. Дополнительную информацию см. в статье Medium «Практика контролируемой точной настройки и оптимизации прямых предпочтений в Intel Gaudi2». Длина контекста для этой модели: 8192 токена (так же, как у mistralai/Mistral-7B-v0.1). Во время обучения использовались следующие гиперпараметры: — скорость обучения: 1e-04 — trainbatchsize: 1 — evalbatchsize: 2 — начальное число: 42 — распределенный тип: multi-HPU — numdevices: 8 -gradientaccumulationsteps: 8 — totaltrainbatchsize: 64 — totalevalbatchsize: — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: cosine — lrschedulerwarmupratio: 0.03 — num_epochs: 2.0 Вот пример кода для воспроизведения модели: пример кода GitHub. Вот документация для воспроизведения построения модели: Для проведения эксперимента мы выбираем последнюю предварительно обученную модель mistralai/Mistral-7B-v0.1 и набор данных с открытым исходным кодом Open-Orca/SlimOrca. В приведенном ниже сценарии используется DeepSpeed Zero2 для запуска обучения с 8 картами…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Intel
Теги: mistral, LLMs, Intel, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 67 | Загрузок: 33
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
