SPARK-mini-instruct — это настроенная на инструкции версия SPARK-mini-base, параметр 3.8B, языковая модель, специфичная для предметной области, обученная на обширном наборе данных, созданном в области ядерной энергетики. Модель была разработана путем непрерывного предварительного обучения Microsoft Phi-3-mini-4k-instruct с использованием более 35 миллиардов токенов высококачественных данных, отобранных из миллионов общедоступных документов, происходящих из области ядерной энергетики, а затем выполнения этапа SFT путем тонкой настройки тщательно подобранного набора из примерно 1000 внутридоменных инструкций и примерно 9000 общих инструкций. SPARK-mini-instruct прошел обучение в компании Nuclearn AI и выпущен в качестве исследовательского артефакта, демонстрационного инструмента и базы LLM для конкретной предметной области для дальнейшей точной настройки специалистами-практиками, работающими в области атомной промышленности или смежными с ней. SPARK-mini-instruct инструктирует SFT-обучение мини-базы SPARK — он будет отвечать на подсказки о нулевом выстреле в формате чата. В этой версии модели с открытым исходным кодом Nuclearn нацелена на несколько конкретных вариантов использования: 1. Ускорение работы технического персонала национальных исследовательских лабораторий или регулирующих органов путем предоставления языковой модели для конкретной предметной области, на основе которой можно точно настроить будущие варианты использования. 2. Улучшение…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: NuclearnAI
Теги: phi3, climate, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 1
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
