Блок на год. ArXiv начал наказывать ученых за ошибки от ИИ в научных статьях

Об этом пишет издание Science alert.

Платформа arXiv заявила, что вводит ограничения для авторов, которые публикуют работы с ошибками, созданными большими языковыми моделями. Речь идет прежде всего о случаях, когда авторы не проверяют текст, созданный ИИ.

Решение приняли из-за резкого роста количества научных текстов, сгенерированных искусственным интеллектом. Проблема затронула не только arXiv, но и научные журналы, которые все чаще получают сомнительные материалы.

По данным исследования, около половины новых статей в интернете сейчас являются преимущественно созданными ИИ. Наука также оказалась под влиянием этой тенденции.

В апреле журнал Organization Science опубликовал исследование о том, как после появления ChatGPT в 2022 году изменились подача научных статей и процесс рецензирования. Авторы сообщили о резком увеличении количества работ и ухудшении их качества.

Исследователи пришли к выводу, что современные инструменты ИИ вместе с давлением из-за необходимости постоянно публиковать новые работы толкают систему к увеличению количества исследований, а не их качества.

Одной из самых распространенных проблем стали вымышленные ссылки на несуществующие научные работы. Такие ошибки называют «галлюцинациями» искусственного интеллекта.

Обычно качество научных статей проверяют через рецензирование, когда другие специалисты анализируют исследования перед публикацией. Однако система проверки уже давно перегружена, поскольку ученые часто не имеют времени или мотивации выполнять неоплачиваемую работу рецензентов.

На arXiv ситуация сложнее, потому что платформа публикует препринты — научные статьи, которые обычно еще не проходили рецензирование. В прошлом году из-за наплыва материалов, созданных ИИ, сайт уже прекратил принимать некоторые типы статей.

Другое исследование, опубликованное в январе, показало, что примерно каждая восьмая статья по биомедицинским наукам содержит текст, созданный искусственным интеллектом.

При этом большинство ученых не считают сам факт использования ИИ проблемой. Основная проблема заключается в том, что искусственный интеллект позволяет быстро создавать низкокачественные роботы.

В заявлении arXiv отметили, что если статья содержит «неопровержимые доказательства» того, что авторы не проверили результаты работы языковой модели, платформе сложно доверять любой информации в таком исследовании.

Впрочем, не все поддержали такое решение. Критики считают, что годовая блокировка для всех соавторов статьи может быть слишком суровым наказанием.

Автор материала объясняет, что современные научные работы часто создают большие международные команды. В некоторых случаях статья может иметь десятки или даже сотни авторов, каждый из которых отвечает только за свою часть работы.

По мнению критиков, если один из авторов случайно добавил вымышленную ИИ-ссылку, наказывать всю команду несправедливо. В то же время за другие проблемы, например слабые доказательства или сомнительные теории, подобных санкций нет.

Некоторые исследователи считают, что бороться с «AI slop» можно с помощью самого искусственного интеллекта. Например, современные системы уже способны автоматически проверять, существуют ли на самом деле научные источники, указанные в списке литературы.

Также ИИ можно использовать для быстрой проверки статистических расчетов или других технических аспектов научных статей. Автор материала предполагает, что именно такой подход может стать эффективнее жестких наказаний.