Опасные запросы. Пользователи советовались с ChatGPT по поводу изготовления биологического оружия и ядов — и иногда получали верный ответ

Об этом сообщает издание The Wall Street Journal со ссылкой на нынешних и бывших сотрудников ведущих лабораторий искусственного интеллекта, в частности компании OpenAI, а также на исследователей в сфере обороны.

Как выяснилось, обнаруженные запросы представляли собой реальные случаи использования сервиса, а не тестовые проверки системы на уязвимости. Большинство несанкционированных обращений касалось именно ядовитых веществ. Впоследствии эти переписки были переданы для анализа профильным ученым и экспертам по вопросам биологического терроризма. Специалисты отметили, что некоторые ответы, предоставленные чат-ботом, оказались чрезвычайно точными, хотя и были изложены в терпеливой манере, доступной для понимания на базовом уровне.

Все пользователи, отправлявшие такие запросы, были заблокированы. В компании OpenAI заявили, что их модели спроектированы так, чтобы отклонять вредоносные запросы, а перед выпуском новых версий проводится тщательная оценка безопасности. Представители разработчика подчеркнули, что способны эффективно выявлять и пресекать попытки получения опасной информации, а в случае возникновения реальных угроз данные передаются правоохранительным органам.

До сих пор подобные инциденты с использованием искусственного интеллекта носили преимущественно общий характер, а их эффективность не превышала ценность информации из обычных специализированных книг. Однако аналитики предупреждают: стремительное развитие технологий и появление нецензурируемых моделей создают новые риски. Злоумышленники могут применять специальные методы для снятия ограничений с моделей, что потенциально открывает доступ к опасным данным в будущем.

Впрочем, параллельно с рисками совершенствуются и методы защиты и противодействия подобным уязвимостям.