GeoGalactica является результатом дальнейшего предварительного обучения Galactica — высокоэффективного LLM, обученного с большим количеством научных документов. В этой работе мы делаем первый шаг к использованию LLM в науке, используя довольно простой подход. Мы пытаемся специализировать LLM с открытым исходным кодом в области геонаук, путем дальнейшего предварительного обучения модели с помощью огромного количества текстов по геонаукам, а также контролируемой точной настройки (SFT) полученной модели с помощью нашего специально собранного набора данных настройки инструкций. Результатом этих усилий стала модель GeoGalactica, состоящая из 30 миллиардов параметров. Насколько нам известно, это крупнейшая языковая модель для области геонаук. — Разработано: Шанхайский университет Цзяо Тонг. — Совместно используется [необязательно]: GeoBRAIN.ai — Тип модели: дальнейшее предварительное обучение и контролируемая точная настройка — Язык(и) (NLP): английский — Лицензия: Apache License 2.0 — Точная настройка на основе модели: Galactica — Репозиторий: geobrain-ai/geogalactica — Документ: GeoGalactica: научная модель большого языка в науках о Земле — Дальнейшее предварительное обучение: корпус текстов по геонаукам, содержащий 65 миллиардов токены, созданные на основе обширных источников данных, сохраняющие крупнейший текстовый корпус, посвященный геонаукам. — Контролировал…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: geobrain-ai
Теги: gpt2, geoscience, text2text-generation, en, text-generation-inference, endpoints_compatible
Лайков: 18 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
