Сломанная корпоративная культура. Сотрудник OpenAI, отвечавший за безопасность, уволился, заявив о необходимости перемен
Дэвид Робинсон, проработавший в OpenAI более трех с половиной лет и руководивший подготовкой отчетов по безопасности для крупных запусков компании, объявил об уходе. По его словам, культура OpenAI нуждается в фундаментальных изменениях.
Об этом пишет издание TechCrunch .
Робинсон изложил свою позицию в эссе для The Atlantic. Он отметил, что за время работы в OpenAI был одним из самых опытных сотрудников компании, но решил уйти, поскольку считает её корпоративную культуру «сломанной».
Робинсон считает, что дискуссия о безопасности искусственного интеллекта должна касаться не только отдельных правил или новых законов, но и общей культуры компаний, разрабатывающих передовые системы ИИ.
По его словам, OpenAI опирается на подход, который компания называет «итеративным развертыванием»: системы запускают, выявляют проблемы и совершенствуют механизмы защиты. Однако, как отметил Робинсон, такой подход неизбежно приводит к периодическим сбоям, а их потенциальные масштабы растут вместе с возможностями ИИ.
В качестве примера он привел недавний излом систем Hugging Face агентами OpenAI и сообщения о новых случаях активности так называемых rogue agents. Робинсон заявил, что среда, в которой подобные инциденты возможны, не подходит для создания искусственных систем, которые могут стать умнее людей и действовать вопреки их намерениям.
Робинсон призвал передовые компании в сфере ИИ работать по принципам, схожим с теми, что применяются на атомных электростанциях или в крупных аэропортах: с многоуровневым резервированием, тщательным планированием и механизмами, предотвращающими катастрофические последствия единичной человеческой ошибки.
В то же время он отметил, что за время работы в OpenAI не встречал коллег с опытом обеспечения безопасности полетов, эксплуатации ядерных реакторов или стабильности финансовой системы.
Представитель OpenAI Дрю Пусатери в ответ на это эссе заявил, что компания продолжает усиливать меры безопасности. По его словам, OpenAI приостанавливает обучение или откладывает выпуск моделей, когда это необходимо, расширяет сотрудничество с внешними экспертами по оценке, повышает безопасность исследовательской среды и совершенствует мониторинг для раннего выявления опасного поведения моделей.
Робинсон также заявил о необходимости более широкого обсуждения проблемы согласования ИИ с человеческими ценностями. По его мнению, нынешние методы оценки того, насколько поведение моделей соответствует этим ценностям, остаются недостаточно точными.
Об увольнении Робинсона ранее сообщило издание Business Insider. Сам он отметил, что решил публично выступить с критикой OpenAI по собственной инициативе.