До 97,9%. OpenAI повысила точность переноса старого программного кода

Об этом пишет издание Interesting Engineering.

Подобные результаты могут упростить обновление программ, используемых банками, финансовыми учреждениями и научными организациями на протяжении десятилетий. Перенос устаревшего кода на более современные технологии остается сложной задачей, поскольку даже незначительные изменения могут нарушить работу систем или повлиять на результаты расчетов.

Например, в COBOL — языке программирования, который до сих пор используется в финансовой инфраструктуре, — лишние десятичные разряды могут отбрасываться без явного округления. Если при переписывании программы изменить это поведение, это может привести к ошибкам в финансовых расчетах.

OpenAI отмечает, что разработчики сталкивались с трудностями при использовании ИИ для работы с устаревшими языками. Документация к таким программам может быть неполной, а важные правила работы часто содержатся только в исходном коде.

В тесте на перенос программ с COBOL на C++, Java, Kotlin, Python или Rust модель GPT-6.1 Sol продемонстрировала точность 86,6% при низком уровне вычислительных затрат. Для предыдущей модели GPT-5.6 Sol этот показатель составлял 5,4%. При высоком уровне вычислительных затрат результат GPT-6.1 Sol вырос до 97,9%.

Оценка включала прохождение всех скрытых тестов, в частности проверок, сравнивающих результаты работы перенесенной программы с оригиналом. В то же время этот показатель отражает результаты конкретного тестирования, а не гарантирует безошибочный перенос любого программного обеспечения. Перед использованием обновленных систем в реальных условиях разработчикам необходимо дополнительно проверять их работу.

OpenAI также протестировала модель GPT-6 Astra в MultiLangBench — тесте, оценивающем способность создавать совместимый с SQLite движок базы данных на 20 языках программирования. Средний процент пройденных тестов вырос с 26,8% у GPT-5.6 Sol до 87,4% у GPT-6 Astra.

Улучшения были зафиксированы для всех проверенных языков. В частности, результат Fortran вырос с 21,4% до 83,5%, а Visual Basic — с 27,5% до 89,4%. Самым сложным остался COBOL, хотя и для него показатель вырос с 10,9% до 72,1%.

Другая модель, GPT-6 Luna, продемонстрировала средний результат 40,3% в тесте MultiLangBench. При этом ее использование обходилось примерно на 78% дешевле, чем GPT-5.6 Sol: по оценке OpenAI, средние затраты на один образец составили 0,77 доллара (около 33 грн) против 3,48 доллара (около 150 грн).

Результаты свидетельствуют о прогрессе в использовании ИИ для поддержки и обновления устаревшего программного обеспечения. Однако эффективность моделей варьируется в зависимости от языка программирования, а перенос критически важных систем по-прежнему требует тщательной проверки.