Механизм экстренной остановки. Гендиректор Microsoft призвал создать систему аварийного отключения для моделей ИИ
Генеральный директор Microsoft Сатья Наделла заявил о необходимости усилить контроль над системами искусственного интеллекта , в частности предусмотреть возможность приостановки или отключения модели во время выполнения задачи.
В публикации в социальной сети X 10 октября Наделла призвал переосмыслить архитектуру доверия к ИИ.
По его мнению, нельзя воспринимать сверхразумный искусственный интеллект как систему закрытых моделей, чьи рекомендации, ответы и действия можно лишь принимать или отклонять.
Наделла предложил отделить модель от системы, управляющей ее работой, а также вынести механизмы контроля и защиты за пределы самой модели. Он также подчеркнул, что каждое важное действие ИИ должно документироваться с помощью защищенных от подделки и понятных человеку свидетельств.
Отдельно руководитель Microsoft призвал обеспечить уполномоченным лицам возможность приостановить или полностью отключить модель непосредственно во время выполнения задачи.
«Мы должны исходить из предположения, что модель скомпрометирована, и ограничивать ее возможности с самого начала», — написал Наделла, сравнив такой подход с аварийным тормозом.
Это заявление прозвучало на фоне сообщений от ведущих компаний в сфере ИИ о случаях, когда они, по-видимому, теряли контроль над своими моделями. Ранее генеральный директор Anthropic Дарио Амодей также представил план более осторожного развития искусственного интеллекта.