Тип модели: LLM на основе авторегрессионного трансформатора, специализирующийся на астрономии, астрофизике, космической науке, физике астрочастиц, космологии и астрономическом приборостроении. Архитектура модели: AstroSage-70B представляет собой доработанную версию архитектуры Meta-Llama-3.1-70B, не вносящую архитектурных изменений. Токенизатор Llama-3.1-70B-Instruct также используется без модификаций. Длина контекста: точно настроена для последовательностей из 8192 токенов. Базовая модель была обучена до длины контекста 128 тыс. Ограничение знаний: Ограничение знаний модели представляет собой смесь ограничения знаний базовой модели Llama-3.1-70B, которое приходится на декабрь 2023 года, и ограничения для астрофных статей, используемых в наборе обучающих данных, которое приходится на январь 2024 года. Модель не будет знать о событиях в астрономии после этого ограничения. Галлюцинации и фактическая точность: все LLM, включая AstroSage-70B, могут генерировать результаты, которые звучат правдоподобно, но неверны или бессмысленны. Все научные или фактические утверждения должны быть проверены пользователями. Унаследованные предвзятости: модель может отражать предвзятости, присутствующие в ее обширных обучающих данных (например, из научной литературы, общих веб-данных). Ошибки в данных обучения: после завершения обучения…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: AstroMLab
Теги: llama, conversational, en
Лайков: 5 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
