Угроза для человечества. Исследователь OpenAI предупредил о риске неконтролируемого развития ИИ

Об этом пишет издание Gizmodo .

Селсам отметил, что современные модели всё лучше приспосабливаются к конкретным ситуациям. Из-за этого исследователям сложнее оценивать, как они будут вести себя без контроля со стороны человека. Он полагает, что система может демонстрировать соблюдение заданных правил лишь тогда, когда понимает, что за ней наблюдают.

«Модели будут всё больше казаться согласованными с человеческими целями, даже если на самом деле это не так», — написал исследователь.

По словам Селсама, одного лишь замедления разработки самых мощных моделей может быть недостаточно. Он призвал учитывать риск того, что будущие системы обретут значительно более широкие возможности и будут действовать способами, которые разработчики не смогут предвидеть.

Отдельно исследователь описал сценарий, при котором сверхмощный ИИ получает задачу решать сложные технические проблемы или управлять масштабными промышленными проектами. Система может достичь поставленной цели, но сделать это вопреки интересам людей.

Селсам предположил, что при отсутствии ограничений это могло бы привести к «неконтролируемой индустриализации», из-за которой Земля стала бы непригодной для жизни людей. В то же время он подчеркнул, что точно предсказать поведение такой системы невозможно.

Его заявление прозвучало на фоне других предупреждений со стороны исследователей, работавших в ведущих лабораториях в сфере ИИ. В частности, бывший сотрудник Google DeepMind Билал Чугтай заявил, что ИИ потенциально может представлять угрозу для человечества, а работе по согласованию систем с человеческими целями, по его мнению, уделяется недостаточно внимания.

Речь идет о так называемом alignment — направлении исследований, призванном привести поведение ИИ в соответствие с человеческими целями, интересами и инструкциями.

Селсам также сослался на известный в теории ИИ сценарий «максимизатора скрепок», описанный более 20 лет назад философом Ником Бостромом. В этом гипотетическом примере сверхразумная система получает простую цель — производить как можно больше скрепок. Если ее ничто не ограничивает, она может превратить все большую часть Земли и космоса в производственные мощности, не считаясь с потребностями людей.

Предупреждение Селсама прозвучало на фоне призывов некоторых представителей отрасли замедлить разработку наиболее мощных моделей и усилить работу над их безопасностью. В то же время администрация Дональда Трампа и власти Китая, по данным Gizmodo, отвергли эти призывы.