AstroMLab/AstroSage-70B - Каталог нейросетей
Генерация текста

AstroMLab/AstroSage-70B

Добавлено:
AstroMLab/AstroSage-70B

Тип модели: LLM на основе авторегрессионного трансформатора, специализирующийся на астрономии, астрофизике, космической науке, физике астрочастиц, космологии и астрономическом приборостроении. Архитектура модели: AstroSage-70B представляет собой доработанную версию архитектуры Meta-Llama-3.1-70B, не вносящую архитектурных изменений. Токенизатор Llama-3.1-70B-Instruct также используется без модификаций. Длина контекста: точно настроена для последовательностей из 8192 токенов. Базовая модель была обучена до длины контекста 128 тыс. Данные обучения AstroSage-70B разделены на предтренировочные (продолжение предварительной тренировки, или сокращенно CPT) и посттренировочные (контролируемая точная настройка, или SFT). Данные непрерывного предварительного обучения (CPT): данные CPT для AstroSage-70B начинаются с набора обучающих данных AstroSage-8B (подробнее см. https://arxiv.org/abs/2411.09012) и добавляются: Обработка и очистка данных: мы применяем постобработку ftfy. Данные повтора: мы добавляем случайную выборку образцов FineWeb в каждую эпоху обучения. Добавленные образцы FineWeb различны для каждой эпохи обучения. Данные контролируемой точной настройки (SFT) для AstroSage-70B-SFT: Набор данных SFT представляет собой разнообразное сочетание данных, специфичных для астрономии, и данных общего назначения для выполнения инструкций, в общей сложности…

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: AstroMLab
Теги: llama, conversational, en
Лайков: 12  |  Загрузок: 22

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.