Мы представляем Pythagoras-Prover, высокоэффективное семейство моделей большого языка с открытым исходным кодом для формального доказательства теорем в Lean 4. Семейство включает в себя два авторегрессионных средства доказательства с параметрами 4B и 32B, а также Pythagoras-Prover-Diffusion, первое средство доказательства теорем на основе диффузии, которое итеративно уточняет доказательства Lean во время вывода. Все три модели являются результатом единого методологического подхода: масштабируемого, проверенного с помощью Lean синтетического конвейера данных. В ее основе лежит расширенная формализация бережливого производства (ALF), структурированная схема мутаций, которая расширяет проверенный исходный корпус до формальных вариантов без индивидуальной компиляции бережливого производства, а затем повторно использует их в качестве сигнала самоочистки во время обучения. Такая конструкция позволяет тщательному построению данных заменить необработанный масштаб, сокращая большую часть разрыва между небольшими открытыми пруверами и их крупнейшими аналогами, не полагаясь на самокоррекцию во время вывода. — Только LoRA контролировал тонкую настройку Qwen3-4B и Qwen3-32B в контексте 8K в сочетании с динамическим фильтром доказательства и упорядоченной по сложности учебной программой легкого → среднего → сложного уровня с последующим обучением с подкреплением с вознаграждением за бережливую компиляцию и заключительным этапом продолжения SFT на…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Pythagoras-LM
Теги: qwen3, conversational, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 1,372
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
