Вместо токенов — прибыль. Как оценить реальную отдачу от инвестиций в ИИ

Поначалу вокруг ИИ возник всеобщий ажиотаж. Руководители компаний по всему миру словно сошли с ума и требовали внедрять эту технологию повсеместно, не задумываясь о целесообразности и затратах, пишет The Economist . Топ-менеджеры вводили рейтинги активности и придумывали такие термины, как «токсенмаксинг» (token-maxing).

Однако эйфория длилась лишь до тех пор, пока руководители не вспомнили об ограничениях бюджета. Тогда в кабинетах прозвучал гораздо более сложный вопрос — о реальной доходности инвестиций.

Шопинг вместо продуктивности

На первом этапе стимулирование использования имело смысл. Необходимо было отслеживать банальное потребление токенов сотрудниками. Логично, что инженер-программист будет тратить на запросы значительно больше средств, чем финансовый аналитик, однако и для последнего этот показатель не должен быть нулевым. Впрочем, объемы использования отражают лишь затраты, но ничего не говорят о создании новой ценности для бизнеса.

Даже когда технология действительно высвобождает время, эта польза часто остается незамеченной для компании. Мика Руоконен из финского университета LUT отмечает, что значительная часть этой выгоды незаметно «растворяется» на уровне отдельных сотрудников. Если благодаря чат-боту работник быстрее справляется с задачей и тратит два освободившихся часа на шопинг на платформе Vinted, то выгоду получает Vinted, а вовсе не ваша компания.

Иллюзия быстрого кода и «мусорные» статьи

Переход к оценке ROI требует сосредоточиться на показателях результатов — таких как продуктивность команды или удовлетворенность клиентов. Однако здесь необходима осторожность. Ученые, например, начали массово использовать алгоритмы для написания статей. Исследование Тулси Сучак из Университета Суррея показало, что в период с 2014 по 2021 год количество публикаций, основанных на одной из баз данных в сфере здравоохранения, составляло в среднем четыре в год. За первые же девять месяцев 2024 года этот показатель подскочил до 190. Объем работы вырос, но ее практическая ценность оказалась сомнительной.

Именно поэтому показатели результатов должны учитывать как положительные, так и отрицательные эффекты. В Google инженеров уже давно оценивают по трем параметрам: скорости проверки кода, удобству системы для адаптации новичков и качеству программного обеспечения. Как отмечает Ричард Серотер из Google Cloud, никто не хочет просто работать быстро и облегчать выпуск ужасного программного обеспечения.

Бензопила против морального духа

Ситуацию осложняет и то, что для проявления преимуществ требуется время. Исследование Кристины Макэлхеран из Университета Торонто подтверждает существование «J-образной кривой», когда производительность сначала падает из-за адаптации и возникновения «узких мест» в смежных процессах, и лишь затем начинает расти.

Оценивая финансовый эффект, руководители должны определиться с главной целью. Самый простой способ продемонстрировать окупаемость — использовать экономию времени как повод для сокращения штата. Однако бензопилы и моральный дух коллектива сочетаются так же плохо, как соль и слизни. Уволенных сотрудников уже невозможно перенаправить на более продуктивные задачи. Более разумный вариант — рассчитать сумму, которую технология позволяет сэкономить за счет отказа от расширения штата.

Баланс между прибылью и инновациями

Поскольку будущее технологий остается неопределенным, Ричард Серотер предлагает внедрять третью группу показателей — «организационно-ориентированные». Они оценивают не входные или выходные данные, а эффективность управления изменениями. К ним относятся уровень удовлетворенности сотрудников процессом внедрения инструментов и прогресс в формировании внутренней экспертизы в тех областях, которые алгоритмы не способны автоматизировать.

Односторонняя ориентация исключительно на потребление игнорирует важность прибыли. Однако жесткий фокус исключительно на немедленной отдаче блокирует процесс непрерывного обучения компании.