SPARK-mini-base — это языковая модель с параметром 3,8B, специфичная для предметной области, обученная на обширном наборе данных, созданном на основе документов, созданных в атомной энергетике. Модель была разработана путем непрерывного предварительного обучения Microsoft Phi-3-mini-4k-instruct с использованием более 35 миллиардов токенов высококачественных данных, взятых из миллионов общедоступных документов, происходящих в области ядерной энергетики. Мини-база SPARK была обучена компанией Nuclearn AI и выпущена в качестве исследовательского артефакта, демонстрационного инструмента и базы LLM для конкретной предметной области для дальнейшей тонкой настройки специалистами-практиками, работающими в области атомной промышленности или смежными с ней. Мини-база SPARK обучается с использованием цели прогнозирования следующего токена без какого-либо выравнивания — для правильного ответа требуется многократный запрос. Версия с настроенными инструкциями доступна на SPARK-mini-instruct. SPARK-mini-base — это базовый LLM без применения процесса выравнивания (SFT, RLHF и т. д.), и, как и другие базовые модели, для адекватной производительности требуется многократный запрос. Для модели с выравниванием на основе инструкций см. SPARK-mini-instruct. Nuclearn нацелен на несколько конкретных вариантов использования этой версии модели с открытым исходным кодом: 1. Ускорение работы технического персонала…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: NuclearnAI
Теги: phi3, climate, conversational, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
