Модель с 14B параметрами для генерации кода Ada 2022 и SPARK. QLoRA точно настроил Qwen2.5-Coder-14B на 6110 проверенных компилятором парах инструкций в 9 категориях обучения, оцененных на тесте из 754 подсказок, охватывающем 10 категорий задач. Назван в честь требований Министерства обороны США Стилмана 1978 года, определявших язык Ada. Steelman Eval v4: 754 подсказки, 10 категорий задач Ada, строгая компиляция GNAT + функциональная оценка *Результаты Grok 4 и Gemini 3.1 Pro являются частичными (537/754 и 547/754 соответственно). Окончательные цифры будут обновлены после завершения. Адаптер 14B QLoRA превосходит все модели Frontier, протестированные при строгой генерации кода Ada, на 49+ процентных пунктов по сравнению с лучшим полным результатом Frontier (GPT-5.4 с 12,9%). Стилман лидирует во всех 10 категориях. Наибольшие пробелы наблюдаются в исправлении ошибок (+59 пп против Opus), многофайловых файлах (+59,6 пп против обоих) и дженериках (+54,5 пп против Opus). Стандартный тест генерации кода, переведенный на Ada. Измеряет функциональную корректность: код должен компилироваться, запускаться и выдавать правильный результат. У Steelman самый высокий уровень компиляции Ada среди всех протестированных моделей (85,4%), включая все передовые модели. Передовые модели выигрывают по алгоритмической правильности, потому что HumanEval тестирует общие CS…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: the-clanker-lover
Теги: peft, ada, ada2022, spark, code-generation, defense, aerospace, safety-critical
Лайков: 7 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
