Эта модель представляет собой точно настроенный параметр LLM 7B на процессоре Intel Gaudi 2 из Intel/neural-chat-7b-v3-1 в наборе данных мета-математики/MetaMathQA. Модель была согласована с использованием метода прямой оптимизации производительности (DPO) с Intel/orcadpopairs. Intel/neural-chat-7b-v3-1 изначально был доработан на основе mistralai/Mistral-7B-v-0.1. Для получения дополнительной информации обратитесь к блогу «Практика контролируемой точной настройки и оптимизации прямых предпочтений на Intel Gaudi2». Длина контекста для этой модели: 8192 токена (так же, как https://huggingface.co/mistralai/Mistral-7B-v0.1). Вот пример кода для воспроизведения модели: Пример кода GitHub. Вот документация для воспроизведения построения модели: Для проведения эксперимента мы выбираем последнюю предварительно обученную модель mistralai/Mistral-7B-v0.1 и набор данных с открытым исходным кодом Open-Orca/SlimOrca. В приведенном ниже сценарии используется DeepSpeed Zero2 для запуска обучения с 8 картами Gaudi2. В файле Finetuneuralchatv3.py по умолчанию для Gaudi2 используются значения usehabana=True, uselazymode=True, device=»hpu». А если вы хотите запустить его на графическом процессоре NVIDIA, вы можете установить их usehabana=False, uselazymode=False, device=»auto». Результаты Open LLM Leaderboard можно найти здесь:…
Модальности:
Генерация текста
Области применения:
Математика Диалог / чат
Задача: Генерация текста
Автор: Intel
Теги: mistral, LLMs, math, Intel, conversational, model-index, text-generation-inference, endpoints_compatible
Лайков: 80 | Загрузок: 11,053
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
