На основе собственного опыта. ИИ может самостоятельно формировать новые предубеждения при найме

Об этом пишет издание Gizmodo .

Ученые из Принстонского университета и Чикагского университета проверили, как большие языковые модели принимают решения о найме. Для этого они использовали эксперимент, который ранее проводился с участием людей.

Участникам предлагалось назначать кандидатов на различные должности, после чего они получали информацию о том, было ли это решение успешным. Все претенденты имели равные шансы успешно справиться с любой работой, но принадлежали к четырем вымышленным этническим группам: Tufa, Aima, Reku и Weki.

В ходе эксперимента люди постепенно начинали связывать неудачные результаты с определенными группами. Например, если кандидат из группы Tufa не получал положительной оценки в качестве врача, участники реже выбирали других представителей этой же группы на аналогичную должность. Эти предубеждения сохранялись даже после завершения игры.

Когда ту же задачу выполняли языковые модели, уровень таких предубеждений оказался значительно выше.

Исследователи отмечают, что модели могут самостоятельно формировать новые социальные стереотипы в отношении вымышленных групп, хотя между ними не существует никаких реальных различий. Это свидетельствует о том, что ИИ не только воспроизводит человеческие предубеждения, но и способен создавать их на основе собственного опыта.

Авторы объясняют это особенностями принятия решений. Люди обычно балансируют между опробованием нового варианта и опорой на уже знакомый опыт. Модели же искусственного интеллекта больше стремятся максимизировать успешный результат и реже «экспериментируют». Из-за этого они быстрее начинают связывать успех или неудачу с определенной группой кандидатов.

В ходе исследования были протестированы 15 моделей от OpenAI, Anthropic, DeepSeek, Meta, Google и Alibaba. Сильнее всего кандидатов по вымышленным группам разделяла модель OpenAI o3. Исследователи также заметили, что более новые и мощные модели с развитыми способностями к рассуждению чаще демонстрировали подобные предубеждения.

По мнению авторов работы, причина заключается в том, что более эффективные модели точнее анализируют предыдущие результаты. Если представители определенной группы ранее получали высокие оценки на схожих должностях, модель начинает чаще выбирать именно их. Такой подход может снижать разнообразие решений и постепенно отодвигать другие группы на второй план.

Эта проблема может иметь практические последствия. Согласно данным опроса ManPower Group, более 90% компаний уже используют ИИ на различных этапах подбора персонала. В то же время в США компания Workday стала ответчиком по коллективному иску из-за обвинений в том, что ее инструменты на базе искусственного интеллекта могут дискриминировать кандидатов. Аналогичные претензии предъявлялись и к Meta: бывшие сотрудники заявили, что система ИИ могла влиять на решения о сокращении штата.

Исследователи подчеркивают, что подобные риски касаются не только сферы трудоустройства. Алгоритмы ИИ уже подвергались критике за предвзятые решения в области здравоохранения и при оценке кандидатов на аренду жилья. Ученые считают, что главная задача сейчас — научиться ограничивать вредные обобщения моделей, не лишая их при этом способности эффективно анализировать информацию.