Продолжаем цикл статьей про цифровых советников и искусственный интеллект. Первая статья доступна тут, а третья тут.
Содержание
Как же работают цифровые советники? Конечно архитектур может быть огромное количество. Но, условно, их можно разделить на несколько компонентов.
Система получение данных
Это могут быть корпоративные ИТ-системы, устройства IoT и АСУ ТП. Также это могут и внешние источники, в том числе из сети Интернет. А может и просто интерфейс пользователя, в котором он отвечает на тестовые вопросы, формулирует запрос, как например в чат-боте.
Система хранения и обработки данных, в том числе система моделей.
Это может быть хранилище или озеро данных с инструментами их обработки и визуализации. Если мы говорим про большую и серьезную СППР, то в ее основе почти всегда будут лежать Большие Данные.
Также в основе любого анализа лежит некая модель. Она может быть разной степени упрощения и базироваться на разных компонентах. И весь анализ будет проводиться на основе этой модели.
Методы обработки данных, могут быть различными, но последние тренды использование методов машинного обучения (нейросети, дерево решений, метод опорных векторов, метод k-ближайших соседей) и в частности глубокого обучения (сверточная нейронная сеть, рекуррентная нейронная сеть, глубокая сеть доверия, генеративно-состязательная сеть, трансферное обучение и глубокое обучение с подкреплением).
Второе направление в виде экспертных систем на основе правил имеет ключевое ограничение - отсутствие гибкости и высокие трудозатраты на создание математических моделей. То есть, Вам сначала вручную описать математическую модель, создать правила, а затем, если что-то будет меняться (структура данных, внешняя обстановка), корректировать такие системы будет крайне сложно.
Система вывода данных
Это тот интерфейс, в котором пользователь взаимодействует, где получает аналитику и рекомендации, происходит визуализация графиков.
Ниже приведем визуализацию типовой системы.
Если кратко, то:
данные подаются в систему извне или берутся из базы данных;
происходит их анализ либо по установленным правилам, либо на основе работы нейросети, также возможно обращение к статистическим данным;
ведется подготовка отчетности или рекомендаций.
Если говорить о моделях ИИ, то здесь мы сталкиваемся со всеми ограничениями ИИ, которые мы подробно рассмотрели тут и тут. Кратко рассмотрим их ниже.
Зависимость от данных и их недостаток
Для обучения ИИ-моделей нужно очень размеченных и структурированных данных. И на данном уровне развития технологии идет разрыв между тем, что хотят видеть в крупных компаниях, и тем что возможно сделать. В компаниях просто нет того количества размеченных данных, которое нужно для создания качественных решений. При этом сами компании относятся к своим данным ревностно и не хотят ими делится с рынком и разработчиками. Хотя, давайте будем честны, ценного там мало.
В итоге хотим много, а данных нет или нет, или это болото, которое непригодно для обучения ИИ.
Стоимость и сроки создания, дороговизна сопровождения
Так как корпорации хотят сразу комплексных решений и еще на своих серверах, то мы сталкиваемся с тем, что любые ИИ-проекты имеют ценники в сотни миллионов, и окупить такое решение будет крайне проблематично.
Давайте разберем несколько факторов, которые влияют на ценообразование.
Размещение во внутренних ЦОДах
Экономика ИТ-решений довольна проста, и разберем ее на практическом примере из нашего опыта. Если мы хотим использовать SaaS-решение, то на внедрение нужно 2 млн на оборудование и по 20 тысяч в месяц за использование ИТ-платформы. Но стоит нам решить внедрять у себя в ЦОДе с выкупом лицензий, то внедрение уже будет стоить 2 млн на оборудование и 7 млн за лицензию на программное обеспечение. Плюс еще 20% от 7 млн ежегодно за техподдержку и установку обновлений. Простая арифметика говорит, что надо 9 млн на старт и еще по 116,6 тысяч в месяц на техподдержку и обновления. Так устроен рынок ИТ-решений.
Разработка комплексных решений
Давайте разберем пример с нашим цифровым советником, и почему для него актуальна B2C стратегия.
Во время продуктовых исследований мы столкнулись с тем, что любая компания, даже вообще без проектной культуры не готова брать готовое решение на основе международной методологии. Все хотят, чтобы продукт дорабатывался под их процессы и регламенты. В итоге вместо 1000 рублей в месяц с пользователя мы получаем необходимость формирования команды бизнес-аналитиков, разработчиков и методологов под заказчика. В итоге цикл внедрения будет в 3-12 месяцев и бюджет от 5 млн рублей.
Ну а дальше, после многомиллионного внедрения нужно обеспечивать работу ИТ-инфраструктуры. А любые ИИ-решения сейчас требуют мощного и дорого оборудования, которое в том числе требовательно к климатическим условиям помещений, где оно работает (вентиляция и другие инженерные системы отдельная боль любого центра обработки данных).
Тенденция к производству некачественного контента, галлюцинации
Одна из ключевых проблем генеративного ИИ (подготовка рекомендаций по факту и есть генеративный ИИ) в том, что он легко может галлюцинировать, то есть создавать ложный или некорректный контент.
Например, специалисты инженерной школы Тандона Нью-Йоркского университета решили проверить ИИ-помощника Copilot от Microsoft с точки зрения безопасности. В итоге, они обнаружили, что примерно в 40 % случаев код, сгенерированный помощником, содержит ошибки или уязвимости. Подробная статья доступна по ссылке.
Еще один пример использования Chat GPT привел пользователь на Хабре. Вместо 10 минут и простой задачи получился квест на 2 часа.
Также, например, попробуйте любого чат-бота описать менеджера pAei-профиля по Адизесу. Вы очень удивитесь написанному. И это мы не говорим, например, про случай pAeI-профиль.
То есть за любой ИИ-моделью нужно перепроверять. И снова мы приходим к тому, что нужно быть экспертом в теме, чтобы оценить корректность контента и использовать его. А нужен ли менеджерам такой инструмент? И здесь мы переходим к следующей проблеме.
Ответственность и проблема "черного ящика"
Ключевой вопрос, который предстоит преодолеть любым советникам - а кто несет ответственность за итоговые решения? Ведь любой корпоративный менеджер хочет снять с себя ответственность и минимизировать риски. Ему нужен инструмент, который гарантирует результат. Их не устраивают рекомендации, на которые в случае провала нельзя сослаться.
Кроме того, особенность ИИ-моделей на основе нейросетей в том, что даже создатели не понимают ее алгоритмов. Да, в отличии от экспертных систем ИИ-решения на основе машинного и глубокого обучения способны поражать самообучения, но непонимание логики работы корпоративным руководителям не внушает доверия. Да и сами разработчики не могут ничего с этим сделать. В итоге вопрос ответственности за рекомендации становится краеугольным.
Уязвимость
Решения на базе нейросетей и машинного обучения уязвимы как и любое ИТ-решение. Только в случае со сложными ИИ-системами эти уязвимости носят не столько технологический характер (условные дыры, через которые можно войти), а логические. То есть надо искать логические несоответствия в решениях. И если компанию захотят атаковать, то такая система будет одной из приоритетных целей для атак. Ведь с ее помощью можно не просто украсть данные, но и ввести руководство в заблуждение и оно примет неверные решения, или спровоцировать систему управления остановить производство.
Как пример можно привести игры с изображениями. Исследователи могут изменить отдельные пиксели и нейросеть видит вместо собаки вертолет, вместо машины медведя. Тоже самое может быть и с рекомендательными системами - злоумышленники внесут коррективы в данные, и вместо увеличения мощностей вы примете решение о необходимости продавать бизнес. Пример, конечно утрированный, но смысл понятен.
В итоге мы получаем целый ряд факторов:
мы не понимаем как это работает;
нам нужно перепроверять рекомендации;
это стоит дорого.
В итоге какой ТОП-руководитель согласиться на это инвестировать миллионы в такое решение?
Сложность и дороговизна разработки
Да, СППР без ИИ тоже дороги в разработке. Все по причине того, что требуется создание сложных математических моделей, или как сейчас принято их называть - цифровых двойников. А с учетом того, что такая модель должна имитировать реальный объект / процесс с погрешностью не более 5%, то тут нужны сложные алгоритмы. Соответственно на это нужно время и команда профессионалов, которые стоят очень и очень дорого.
Требовательность к оборудованию
Да, высокоточные модели на базе правил не менее требовательны к оборудованию и вычислительным мощностям. Ярким примером являются MES-системы, которые должны в реальном времени обрабатывать огромные массивы данных и готовить рекомендации по оптимальной загрузке производства.
Отсутствие гибкости и сложность/стоимость адаптации
Мы все с Вами понимаем, что бизнес-процессы и параметры оборудования невозможно зафиксировать. Процессы меняются, оборудование обновляется / выходит из строя, и в целом мы живем в VUCA / BANI-мире. А значит и требования могут меняться. При этом любая доработка и корректировка такой системы будет отдельным проектом.
Вопрос ответственности
Для систем на основе правил также актуален вопрос ответственности за рекомендации. Кто будет отвечать за некорректные рекомендации? Эксперт, который даже не работает в компании? Разработчик, который не смогу все описать? Аналитик, который не смогу разобрать любой возможный сценарий?
Зависимость от разработчиков и отсутствие обучения
Ключевое ограничение экспертных систем - они работают только на основе тех правил, которые вы заложили в нее. Теперь возникает вопрос - а достаточная ли точность модели была? А на основе чьих правил она работает? Давайте посмотрим на пример нашего цифрового советника, и почему мы его делаем на основе ИИ?
В мире существует огромное количество методологий управления проектами и подходов к их реализации. А также у каждого эксперта свое видение. Соответственно, если мы делаем модель на основе одной методологии, то кто гарантирует, что именно она правильная?
При этом, мы можем делать его на основе нейросетей. И допустим мы добавляем модуль оценки проекта (как на схеме ниже). Например, через сбор обратной связи от заинтересованных сторон и данных о сроках и бюджете с учетных систем. В таком случае система будет учиться и со временем система научиться выбирать оптимальный подход и набор рекомендаций для реализации проекта. Никакая экспертная система на основе правил на такое не способна.
Общие недостатки
Ограниченность решений данными
Любая СППР ориентируется на данные. То есть это реализация data-driven подхода.
Мы подробно разбирали разные стратегии принятия решений с использованием данных в статье Data-driven или data-informed: почему цифра не заменит человека? Здесь же напомним ключевые недостатки data-driven:
Недостаток креативности
Data-Driven не дает места креативности и разным точкам зрения.
Узкая фокусировка
Данные могут ответить качественно только на те вопросы, которые были изначально заложены на этапе проектирования.
Исключение экспертных знаний
Data-driven подход не учитывает экспертные знания и опыт
Необъективность
Создать абсолютно объективный набор метрик практически невозможно, в любом случае взгляд менеджера найдет отражение в наборе метрик
Сложность оцифровки реакции людей
Data-driven плохо учитывает человеческий фактор: эмоции и чувства, субъективное мнение
Требовательность к качеству данных
Data-driven требователен к качеству исходных данных и проработке нормативно-справочной информации.
И хотя вся современная наука о менеджменте старается уйти от фактора человека, но это все равно утопия. В основе любых успешных компаний и проектов идет сочетание человека и системы. И data-driven не подходит для высокоуровневых решений - принятия решений о запуске продуктов, их развитии, разработке стратегий. И даже в технологических гигантах идет разделение на data-driven, data-informed и data-inspired подходы:
- Data-driven (решение на основе данных) для решения повседневных/оперативных задач или в условиях стабильности, т.е. для принятия 80% всех решений. Это инструмент оперативного управления и планирования / контроля.
- Data-informed (решения с учетом данных) при создании новых продуктов, работе с людьми и планировании ближайшего будущего. Это инструмент тактического управления и планирования.
- Data-inspired (поиск идей в данных) для создания стратегий и поиска новых ниш. Это инструмент стратегического управления и планирования.
Ниже приведены примеры использования разных стратегий.
Data-driven | Data-informed | Data-inspired |
AB-тесты | Дорожная карта развития | Стратегия развития |
Оценка стабильности и производительности ИТ-систем | Приоритезация бэклога функций и возможностей | Поиск новых ниш |
Деградация персонала/руководителей и утрата компетенций
Попытка все переложить на советников в долгосрочной перспективе приведет к тому, что в компании исчезнут управленческие компетенции. Все станут слепо доверять советникам. И в будущем, когда нужно будет в условиях неопределенности и кризиса принимать решения, перепроектировать советника, компания уже не сможет этого сделать. Компания окажется уязвимой и зависимой от внешних консультантов и разработчиков, которым на одну отдельную компанию будет глубоко безразлично.
Снижение эффективности и расфокусировка
Развитие ИТ-сервисов и цифровых советников будет увеличивать количество информации, которую надо будет обрабатывать руководителю. А уже сейчас информационный поток превышает возможности нашего мозга и сознания ее эффективно обрабатывать. В итоге это будет приводить к расфокусировке и может усложнить принятие решение, особенно с учетом факторов выше.
Недоверие сотрудников и страхи людей
При всех возможностях цифровых инструментов люди все равно будут сопротивляться их внедрению. Мы подробно разбирали внедрение изменений тут, но если кратко, то:
- люди не понимают, как это работает, и многие не понимают и как этим пользоваться;
- люди бояться потерять работу, власть и влияние, особенно этим вопросом зададутся менеджеры: "А зачем здесь я, если будет робот все оценивать и принимать решения?"
- цифровым инструментам уже не один год, и многие решения не оправдали надежд, а это формирует культуру недоверия.
Взаимоисключающие рекомендации
Различные цифровые советники могут давать взаимоисключающие1рекомендации. Например, финансовый советник скажет срезать операционные затраты и отказаться от инвестиций, а советник по цифровизации даст рекомендации инвестировать искусственный интеллект и интернет вещей. Какое решение в итоге принимать?
Резюме
При всех потенциальных возможностях СППР или цифровых советников, перед ними стоят сложные и фундаментальные как технологические вызовы, так и организационные.
Причем сложно понять, какие из вызовов более сложные для решения. И, вероятнее всего, прорывное развитие этого направления не следует ожидать в сегменте крупных корпораций. Туда СППР придут уже зрелыми и отработанными, когда они уже станут стандартом в нашем обществе. А вот что делать и куда идти мы обсудим в следующей статье.