Aryabhata 1.0 — это модель небольшого языка для математики с 7 параметрами, разработанная Physics Wallah AI Research и оптимизированная для индийских конкурсных экзаменов с высокими ставками, таких как JEE Mains. Несмотря на свой компактный размер, Aryabhata 1.0 обеспечивает высочайшую производительность при решении задач, ориентированных на экзамен, с впечатляющей эффективностью токенов и низкой стоимостью вывода. > 🚧 Арьябхата 1.0 — экспериментальная версия. Мы активно ищем отзывы — пожалуйста, поделитесь ими на вкладке «Обсуждение» этого репозитория. — Данные обучения: около 130 тысяч пар проблем и решений, отобранных на основе собственных наборов данных экзамена по физике Wallah. — Конвейер обучения: — Слияние моделей — Отбраковочная выборка — Контролируемая точная настройка (SFT) — Обучение с подкреплением с проверяемыми вознаграждениями (RLVR) Мы начали со слияния моделей (средневзвешенное), чтобы построить надежную инициализацию (Арьябхата 0,5) путем объединения различных возможностей модели: Qwen 2.5 Math: надежный математический LLM с прочной символической математической основой. Ace Math: улучшенная версия Qwen 2.5 Math, доработанная NVIDIA для повышения точности математических тестов. * DeepSeek R1 Distill Qwen: длинная модель рассуждения, доработанная на основе трассировок рассуждений, извлеченных из DeepSeek R1. Мы извлекли ~250 тыс. сырых…
Модальности:
Генерация текста
Области применения:
Математика Диалог / чат
Задача: Генерация текста
Автор: PhysicsWallahAI
Теги: qwen2, small-language-model, jee, exam-centric, indian-education, reinforcement-learning, supervised-finetuning, model-merging
Лайков: 109 | Загрузок: 110
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
