— Предварительное обучение на самом большом синтетическом наборе образовательных данных. Эта модель была предварительно обучена на QVAC Genesis I от Tether, крупнейшем синтетическом наборе данных, выпущенном для предварительного обучения LLM в сфере образования. Модель была обучена с нуля примерно на 40 миллиардах токенов многодоменного учебного текста с использованием смешанной точности BF16 и контекстного окна из 4096 токенов. Обучение проводилось на архитектуре преобразователя, состоящего только из декодера с параметрами 1,7B, семейства Qwen3. Контрольные точки предоставляются в стандартном формате «Обнимающее лицо» для облегчения вывода, постоянного предварительного обучения и точной настройки. — Многодоменный образовательный охват Поскольку модель обучена на QVAC Genesis I, она наследует охват, согласованный с учебной программой, по следующим направлениям: — Математика — Физика — Биология — Медицина — Превосходные контрольные показатели Используя QVAC Genesis I в качестве основы обучения, модель последовательно превосходит базовые показатели в: — Задачах рассуждения — Оценке знаний — Предметном обеспечении качества — Первой публично выпущенной предварительно обученной модели для конкретного образования Это первая предварительно обученная модель с открытым исходным кодом, созданная непосредственно на тщательно проверенном синтетическом наборе данных для образования, предлагая глубокий и всесторонний охват STEM. способности — Постоянное предварительное обучение…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: qvac
Теги: qwen3, base-model, causal-lm, transformer, conversational, en
Лайков: 10 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
