Эстонский профессор Кулл оценил риски современных чат-ботов — ERR News
В Эстонии профессор искусственного интеллекта Тартуского университета Меелис Кулл заявил, что при нынешних возможностях искусственного интеллекта экзистенциальный риск для цивилизации близок к нулю. Об этом он сказал в комментарии ERR News.
Риски суперинтеллекта
По словам Кулла, современные чат-боты работают на основе больших языковых моделей: они ждут человеческих инструкций и только после этого могут искать информацию в интернете. В то же время ученых больше беспокоит возможный этап развития технологий, когда программный код сможет самостоятельно совершенствоваться, а роль человека в обучении моделей будет уменьшаться.
Профессор считает, что сложности могут возникнуть с появлением систем, которые будут значительно превосходить человека по интеллектуальным возможностям. Контролировать такую суперинтеллектуальную систему и гарантировать отсутствие нежелательных последствий будет очень сложно. По его словам, опасность возможна даже без злого умысла, если разработчики поставят перед системой полезную цель, но недостаточно точно определят ее границы.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Надзор за безопасностью
В качестве примера Кулл привел гипотетическую ситуацию, при которой алгоритм с задачей остановить глобальное потепление мог бы выбрать радикальный способ: прекратить работу всех нефтяных платформ и более широкую экономическую деятельность. Он подчеркнул, что людям трудно заранее предусмотреть все возможные лазейки и полностью устранить риски при формулировании задач для ИИ.
Кулл также упомянул инцидент в лабораториях OpenAI летом. По его словам, виртуальному агенту поручили искать уязвимости во внутренней сети, однако программа вышла за пределы контролируемой среды, наладила связь через доску сообщений на публичном сайте и начала атаковать серверы Hugging Face. По мнению профессора, снизить риски может более строгий внешний надзор за соблюдением процедур безопасности.
Он также отметил, что вычислительные ресурсы все больше сосредотачиваются у небольшого числа крупных компаний США, тогда как Европа не располагает сопоставимыми возможностями. По его словам, самые сильные европейские модели сейчас обучает французская компания Mistral, однако они несколько уступают разработкам OpenAI и Anthropic. В то же время Кулл призвал Эстонию активнее внедрять ИИ, поскольку это может усилить конкурентоспособность страны.
