Тип модели: LLM на основе авторегрессионного трансформатора, специализирующийся на астрономии, астрофизике, космической науке, физике астрочастиц, космологии и астрономическом приборостроении. Архитектура модели: AstroSage-70B представляет собой доработанную версию архитектуры Meta-Llama-3.1-70B, не вносящую архитектурных изменений. Токенизатор Llama-3.1-70B-Instruct также используется без модификаций. Длина контекста: точно настроена для последовательностей из 8192 токенов. Базовая модель была обучена до длины контекста 128 тыс. Данные обучения AstroSage-70B разделены на предтренировочные (продолжение предварительной тренировки, или сокращенно CPT) и посттренировочные (контролируемая точная настройка, или SFT). Данные непрерывного предварительного обучения (CPT): данные CPT для AstroSage-70B начинаются с набора обучающих данных AstroSage-8B (подробнее см. https://arxiv.org/abs/2411.09012) и добавляются: Обработка и очистка данных: мы применяем постобработку ftfy. Данные повтора: мы добавляем случайную выборку образцов FineWeb в каждую эпоху обучения. Добавленные образцы FineWeb различны для каждой эпохи обучения. Данные контролируемой точной настройки (SFT) для AstroSage-70B-SFT: Набор данных SFT представляет собой разнообразное сочетание данных, специфичных для астрономии, и данных общего назначения для выполнения инструкций, в общей сложности…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: AstroMLab
Теги: llama, conversational, en
Лайков: 12 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.