AstroSage-Llama-3.1-8B — это специализированный помощник искусственного интеллекта на естественном языке, предназначенный для исследований в области астрономии, астрофизики и космологии. AstroSage-Llama-3.1-8B, прошедший обучение на полной коллекции статей arXiv по астрономии за 2007–2024 годы, а также на миллионах синтетически сгенерированных пар вопрос-ответ и другой астрономической литературе, демонстрирует превосходные знания по широкому кругу вопросов. Это достижение демонстрирует потенциал специализации в области ИИ, предполагая, что целенаправленное обучение может дать возможности, превосходящие возможности гораздо более крупных моделей общего назначения. — Базовая архитектура: Meta-Llama-3.1-8B — Базовая модель: Meta-Llama-3.1-8B — Параметры: 8 миллиардов — Направление обучения: астрономия, астрофизика, космология и астрономические приборы — Лицензия: лицензия сообщества Llama 3.1 — Процесс разработки: 1. Продолжение предварительного обучения (CPT) по астрономической литературе 2. Точная настройка под контролем (SFT) для контроля качества пары и наборы инструкций 3. Слияние модели с Meta-Llama-3.1-8B-Instruct (75% CPT+SFT / 25% Meta-Instruct) AstroSage-Llama-3.1-8B показывает заметные улучшения производительности: Модель демонстрирует: — Превосходство по производительности среди всех моделей с параметрами 8B -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: AstroMLab
Теги: llama, llama-3.1, astronomy, astrophysics, cosmology, en
Лайков: 12 | Загрузок: 1,877
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
