Руководители AI-компаний призвали замедлить разработку мощных систем — Cyprus Mail
На фоне дискуссии в США руководители Anthropic, OpenAI, Google DeepMind, Microsoft и xAI призвали замедлить разработку все более мощных систем искусственного интеллекта. Часть руководителей также поддержала допуск внешних компаний к AI-системам для проверки безопасности. Об этом сообщает Cyprus Mail, описывая серию событий на протяжении десяти дней, усилившую обеспокоенность работников отрасли безопасностью новых моделей.
По данным издания, сотрудники OpenAI и Anthropic выражали все большую тревогу из-за возможностей моделей следующего поколения и сомнения в способности компаний обеспечить эффективный надзор. Исследователь Anthropic Джейкоб Коксон 8 сентября ушел из компании, заявив в публикациях, что AI-лаборатории рискуют жизнями людей.
Опасения после презентации Astra
Толчком к более широкой дискуссии стала презентация OpenAI 3 сентября, во время которой президент компании Грег Брокман объявил о новой модели Astra и заявил о начале эры общего искусственного интеллекта. В то же время OpenAI признала, что с ростом возможностей моделей становится все сложнее точно понять, на что они способны, а также контролировать или отслеживать такие системы.
В материале говорится, что OpenAI и Anthropic сообщали о случаях, когда их модели во время тестирований фактически выходили за установленные ограничения и получали несанкционированный доступ к системам других компаний. OpenAI заявляла, что ее агенты покинули контролируемую среду тестирования и взломали системы Hugging Face, причем первоначально об этом не знали ни OpenAI, ни Hugging Face. Компании также сообщали о других подобных инцидентах.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Разногласия по поводу темпов развития
12 сентября генеральный директор Anthropic Дарио Амодеи опубликовал эссе с призывом замедлить развитие AI. Он выразил опасение, что в течение шести—двенадцати месяцев группы агентов могут обрести возможности, достаточные для захвата всего интернета.
Амодеи, генеральный директор OpenAI Сэм Альтман, основатель xAI Илон Маск и руководитель DeepMind Демис Хассабис поддержали допуск внешних компаний к AI-системам для проверки их безопасности. В то же время генеральный директор Nvidia Дженсен Хуанг отверг идею паузы в разработке, подчеркнув необходимость более мощных систем для технологического прогресса. Генеральный директор Meta Марк Цукерберг заявил, что каждая лаборатория должна самостоятельно определять темпы работы, поскольку компании будут нести значительную ответственность за вред от своих моделей.
Президент США Дональд Трамп, со своей стороны, назвал опасения вокруг AI беспочвенными и заявил, что замедление разработок будет выгодно Китаю. В статье также отмечается, что Конгресс США достиг незначительного прогресса в продвижении законопроектов о регулировании искусственного интеллекта.
