Мы представляем K2 (7B), языковую модель с открытым исходным кодом, обученную, во-первых, путем дальнейшего предварительного обучения LLaMA на собранной и очищенной литературе по геологическим наукам, включая статьи в открытом доступе по геонаукам и страницы Википедии, а во-вторых, тонкой настройки с использованием наукоемких данных настройки инструкций (GeoSignal). Что касается предварительной оценки, мы используем GeoBenchmark (состоящий из NPEE и AP Test по геологии, географии и наукам об окружающей среде) в качестве эталона. К2 превосходит базовые модели по объективным и субъективным задачам по сравнению с несколькими базовыми моделями с аналогичными параметрами. Мы публикуем дельта-веса K2 после дальнейшего предварительного обучения с помощью корпуса текстов по геолого-геофизическим наукам в целях соответствия лицензии модели LLaMA.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: daven3
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
