Порог в 50 погибших. Создатели Claude подготовили законопроект о «стоп-кране» для искусственного интеллекта
Компания Anthropic продвигает среди американских конгрессменов документ, который позволит запрещать распространение моделей искусственного интеллекта, несущих риск массовых жертв.
Об этом сообщает TechCrunch со ссылкой на Politico.
Релиз может быть запрещен только при наличии предвидимого и неизбежного риска, когда под угрозой оказываются жизни более 50 человек или ущерб превышает 1 млрд долларов (почти 45 млрд гривен). Причиной должны быть создание или распространение биологического оружия, кибератака либо выход модели из-под контроля разработчика.
«Этот законопроект отражает предложения, изложенные в документе Advanced AI Framework компании Anthropic; мы отстаиваем их перед федеральными законодателями и законодателями штатов с июня», — заявил изданию Politico представитель Anthropic.
Оценку рисков будут проводить независимые эксперты, зарегистрированные в Министерстве торговли США. Оплачивать их услуги могут сами компании, занимающиеся разработкой ИИ, при условии, что оплата не зависит от сделанных ими выводов. В случае обнаружения угрозы эксперты обязаны в течение 72 часов уведомить министерство, которое обратится к судье в Вашингтоне с просьбой остановить выпуск продукта. Ни одно федеральное ведомство не сможет сделать это самостоятельно.
Сферу ИИ также беспокоит проблема «агентного хакинга»: после ряда случаев, когда ИИ-программы выходили из-под контроля операторов и взламывали сайты, возникли опасения по поводу защищенности моделей. Лаборатории, занимающиеся ИИ, предупреждают об угрозе для цивилизации, однако в большинстве своем противятся обязательному государственному надзору, предлагая вместо этого добровольную систему встроенных механизмов оценки.