BIG DATA & AI 2023: Будни искусственного интеллекта

Модели ИИ — языковые и имитационные

Одним из наиболее известных и популярных сегодня направлений развития ИИ стали языковые модели и интерактивные системы на их базе. Так, очень много дискуссий разворачивается вокруг GPT-3 — очередной версии алгоритма обработки запросов на естественном языке, который развивает американская лаборатория OpenAI.

«В основе GPT-3 — большая языковая модель, которая умеет максимально полно дополнять тексты, поступающие ей на вход, — пояснил Артем Семенихин, исполнительный директор технологической практики компании 'Технологии доверия', созданной на базе российского филиала PwC. — После проведения огромной работы по валидации ответов, выдаваемых GPT-3, а затем дообучения этой модели на свет появилась система ChatGPT».

Разумеется, она не лишена недостатков. В частности, ChatGPT не дает ссылок на источники и не поясняет должным образом, на каком основании построен тот или иной ее ответ. Кроме того, в системе отсутствует дообучение на основе свежей информации; впрочем, этот вопрос, скорее всего, будет решен достаточно быстро.

Свои аналоги ChatGPT уже появились и у российских разработчиков, в том числе в «Сбере» и «Яндексе». Правда, отметил Семенихин, дальнейшее их совершенствование обходится очень дорого, поскольку требует привлечения больших ресурсов (для сравнения: инвестиции в ChatGPT составляют миллиарды долларов), и это может стать существенным барьером на пути их развития.

Еще одно направление практического развития систем ИИ — имитационное моделирование, подразумевающее максимально достоверную имитацию реальных процессов. По словам Александра Чулапова, руководителя направления бизнес-поддержки продаж компании «Дататех», уже есть примеры совместного использования имитационного моделирования и ИИ в самых разных предметных областях. Среди факторов успеха таких проектов — хорошее понимание предметной области со стороны команды проекта, нацеленность на получение значимых результатов для бизнеса, ясное видение возможностей, которые он сможет получить, а также выбор правильного подхода к архитектуре, выбору инструментов, организации работ для получения продуктов и т.д.

У «Дататех», отметил Чулапов, есть проекты в этой области, реализованные в самых разных отраслях. В частности, компания разработала и внедрила систему имитационного моделирования на участке крупногабаритного литья одного из отечественных предприятий тяжелого машиностроения. Как рассказал его коллега Сергей Громов, руководитель группы аналитики данных «Дататех», модель демонстрирует процесс подготовки полуформ для изготовления крупногабаритных отливок, помогая исследовать различные сценарии и получить ответы на многие актуальные для производственников вопросы. Другой сценарий реализован в области маркетинга — внедренная здесь система имитационного моделирования помогает выбрать и представить клиенту через онлайн-каналы предложение, которое и ему будет интересно, и организации выгодно.

Процессы MLOps: мониторинг, диагностика, практика

Чтобы модели ИИ и машинного обучения сохраняли свою актуальность и точность, нужно систематически проверять их качество. Для этого, пояснил Артем Глазков, ведущий эксперт MLOps компании «Полиматика», необходим процесс регулярного мониторинга качества модели на этапе применения — он позволяет своевременно выявлять расхождения модели с реальностью и дообучать ее на основе новых данных. По данным McKinsey, регулярное обновление моделей и автоматизация их мониторинга способствуют повышению окупаемости инвестиций в эти модели на 13% и 9% соответственно.

«Чтобы в модели ИИ устранить проблему, важно не только видеть ее, но и понимать причину — это обеспечивает диагностика моделей машинного обучения», — отметил Глазков.

Артем Глазков: «Чтобы в модели ИИ устранить проблему, важно не только видеть ее, но и понимать причину — это обеспечивает диагностика моделей машинного обучения»

Эта задача решается по мере возникновения проблем с ML-моделью: специалист, отвечающий за модель, должен суметь дать адекватную интерпретацию факторов, на основе которых модель подготовила тот или иной прогноз. Методы интерпретации PD и ICE позволяют понять общую логику, которой руководствовалась модель, а LIME и SHAP — объяснить прогноз модели в отношении конкретного наблюдения. Анализ причин с детализацией данных по тем сегментам, где алгоритм демонстрирует наименьшую точность, помогает выяснить причину, по которой происходит снижение точности.

Для повышения точности модели можно использовать, например, ее калибровку — для этого нужно вручную внести корректировку в скоринговый код модели или дополнить ее бизнес-правилами. Второй способ повышения точности — дообучение модели на новом наборе данных — хорош тем, что позволяет выстроить регулярно исполняемый процесс. Кроме того, можно пересоздать модель или заменить ее полностью, отказавшись от прежней.

Опытом управления процессами MLOps поделился Олег Конорев, руководитель по развитию машинного обучения и искусственного интеллекта компании «ВымпелКом». По его словам, процессы MLOps имеют ряд особенностей по сравнению с DevOps. Так, традиционная разработка, как правило, нециклична в плане улучшения производительности и развития функциональности. Процессы создания моделей машинного обучения строятся несколько иначе: командам приходится обеспечивать доучивание моделей, проведение экспериментов, оценивать изменения среды, которую описывают модели, и определять пути их адаптации.

Нередко возникают сложности на стыках команд DevOps и MLOps: между ними наблюдается разрыв и в применяемых подходах, и в инструментах, поскольку специалисты по данным — обычно не разработчики, а, скорее, математики. Между командами существует определенный языковой барьер: разработчики зачастую не могут подсказать специалистам по данным, как лучше и правильнее создавать цифровые продукты. Есть различия и в выборе инструментов: команда разработки, как правило, предпочитает один язык программирования (например, Java или Scala), а команда специалистов по данным — другой (чаще всего Python). В процессах MLOps остро стоит вопрос текучести кадров: специалисты уходят, тем не менее, надо продолжать поддерживать ранее созданные сервисы. Есть сложности в управлении версиями моделей машинного обучения.

ИИ-инструменты в маркетинге и рекламе

Модели ИИ и машинного обучения находят широкое применение в рекламе и маркетинге. Сергей Карпович, начальник управления анализа источников данных департамента анализа данных и моделирования ВТБ, особо отметил следующие группы рекламных инструментов на основе ИИ: интернет-реклама, видеореклама в онлайн-кинотеатрах и видеохостингах, а также «классическая» реклама в приложениях и лидогенерация.

Специалисты ВТБ в своей практике используют различные ИИ-инструменты для маркетинга. В частности, они применяют их для сегментации, поиска клиентов, похожих на представителей отдельных сегментов (Look-alike), и кластеризации клиентской базы. Кроме того, они широко встраивают ИИ в инструменты для скоринговых оценок, в том числе в специфичные для банковского сектора модели вероятности дефолта (Probability of Default, PD) и одобренные (Approved) модели, а также в применяемые в широком спектре отраслей модели сегментации по доходу, определения новых клиентов, модели склонности, отклика и пр.

Используются и классические системы с триггерами, в частности, с триггерами склонности к тому или иному продукту, триггеры оттока клиентов и пр. Правда, отметил Карпович, чтобы триггеры были эффективными, нужно выстроить правильную инфраструктуру для их обработки, поскольку реакция на их срабатывание должна быть быстрой — по опыту ВТБ, не более 24 часов. Также нужно учитывать, что триггеры обеспечивают не очень высокую точность, поэтому их лучше использовать в тех процессах, где наблюдается низкий отклик клиентов. В других ситуациях бывает намного эффективнее побуждать клиентов к совершению определенных действий, не дожидаясь срабатывания триггеров.

Производство осваивает машинное обучение и видеоаналитику

В производственных компаниях находят применение как «классические» модели машинного обучения, так и системы машинного зрения и видеоаналитики.

Например, на предприятиях «Северстали» модели используются для поиска оптимальных технологий производства и совершенствования управления агрегатами. По словам Андрея Голова, руководителя центра искусственного интеллекта и машинного обучения компании «Северсталь Диджитал», до 2022 года предпочтение отдавалось проектам, направленным на повышение производительности, однако, начиная с прошлого года, основное внимание уделяется проектам, нацеленным на снижение издержек на производстве (в первую очередь за счет снижения потребления электричества, энергоносителей и расходных материалов), а также на повышение качества и конкурентоспособности продукции (прежде всего, путем снижения количества и предотвращения дефектов). Еще одно актуальное направление ИИ-проектов — повышение гибкости производства, обеспечивающей возможность принимать специфичные и малотоннажные заказы. Также развиваются проекты в области безопасности и экологии.

Системы компьютерного зрения и видеоаналитики в «Северстали» применяются для выявления негабаритов на стадиях производственных переделов, определения гранулометрического состава, видеоинспекции поверхности металлопроката с целью поиска возможных дефектов, а также в области охраны труда и производственной безопасности.

Большинство ИИ-систем в «Северстали» реализуются на основе озер данных в виде приложений, разработанных на языке Kafka и работающих в режиме реального времени. Чтобы ускорить решение производственных задач, связанных с ИИ, в компании начали внедрять инструменты Data Governance.

Как отметил Константин Панфилов, руководитель команды Data Science ГК «Самолет», главной целью проектов в области цифровизации и, в частности, ИИ в строительной отрасли является повышение производительности труда. Общемировая тенденция такова, что этот показатель в отрасли практически не растет с начала 1990-х годов — его прирост составляет около 1% в год. По словам Панфилова, цифровизация позволила его компании всего за полтора года (с февраля 2021-го по октябрь 2022 года) поднять производительность труда на 60%.

Одним из важных направлений проектов в ГК «Самолет» стали компьютерное зрение и видеоаналитика. С их помощью производятся различные виды контроля: за ходом строительства, количеством построенных этажей, соблюдением технологии цикличности, внутренним состоянием работ в отдельных квартирах, внешней безопасностью на производстве (наличием ограждений, внешней сетки) и пр. Также начата проработка модели поиска ошибок в строительных чертежах — их выявление на более ранних стадиях позволяет избежать простоев и дополнительных затрат на производстве.

Анализ и распознавание графических образов также используется для извлечения табличек и фактографических данных из электронных и отсканированных документов (например, счетов-фактур). Текстовые модели применяются для сопоставления справочников с целью поиска ближайшего соответствия, определения категории позиции, определения технических характеристик и пр. Создается также вопросно-ответная модель для проектировщиков, чтобы минимизировать их простои, связанные с необходимостью уточнения отдельных деталей. Согласно замыслу, модель сможет на основе текстовых вопросов выбирать один из подходящих ответов, а в перспективе, когда будет разработан специализированный чат-бот, «освоит» и диалог со специалистами.

Сергей Косогор: «В агросекторе решения на основе ИИ должны упрощать работу сельхозпроизводителя, делать ее более точной, помогать выпускать более качественную продукцию, лучше ориентироваться на рынке»

Внедряются в компании и «классические» модели машинного обучения, в том числе модели эластичности спроса, клиентского пути, рекомендательные системы, модели динамического ценообразования, оттока клиентов и оптимальной коммуникации, модели прогноза цен на материалы, маршрутизации звонков в контакт-центре, дефолта подрядчиков, оттока сотрудников, загруженности управляющих компаний и пр.

«В агросекторе решения на основе ИИ должны упрощать работу сельхозпроизводителя, делать ее более точной, помогать выпускать более качественную продукцию, лучше ориентироваться на рынке», — считает Сергей Косогор, директор центра исследований и разработок агрохолдинга «Степь».

Он и его коллеги используют ИИ для моделирования перемещения техники между хозяйствами агрохолдинга, с помощью машинного зрения оценивают состояние всходов ряда сельскохозяйственных культур, отслеживают путем анализа изображений с дронов плодородие почв, выделение и поглощение парниковых газов. Трехмерные модели рельефа местности помогают агрохолдингу оптимизировать использование ресурсов агрохолдинга, севооборот и пр.

Косогор уверен, что ИИ может широко применяться также, например, для изучения возможностей ультрамалых объемов средств защиты растений с помощью дронов-опрыскивателей, исследования воздействия препаратов на различные культуры и пр. Кроме того, ИИ открывает новые возможности для оптимизации сельскохозяйственных ресурсов и экономии влаги, прогнозирования цен на продукцию, спроса и потребления, а также для селекции и разработки биологических препаратов и др.

Модели ИИ в медицине

Очень интересные перспективы для внедрения моделей ИИ открываются в медицине и здравоохранении. Как рассказал Глеб Данилов, руководитель лаборатории биомедицинской информатики и искусственного интеллекта Национального медицинского исследовательского центра (НМИЦ) нейрохирургии им. Н.Н. Бурденко, ИИ в медицине нацелен в первую очередь на автоматизацию типовых процессов, в том числе диагностики, поддержки принятия клинических решений, прогноз осложнений и исходов лечения.

«ИИ сегодня может способствовать развитию более безопасных медицинских технологий, ускорению оказания медицинской помощи и ее удешевлению. Кроме того, мы наблюдаем тенденцию к автоматизации рутинных медицинских процессов», — так Данилов охарактеризовал главные направления применения ИИ в медицине.

Глеб Данилов: «В целом уровень ошибок моделей машинного обучения может находиться примерно на том же уровне, который демонстрируют врачи»

В качестве основных источников данных в нейрохирургии выступают нейровизуализация (медицинские изображения), секвенирование генома, носимые и имплантируемые устройства и медицинские записи (в основном неструктурированные). Данилов отметил, что, например, в ходе одного исследования магнитно-резонансной томографии генерируется около 48,5 точек данных. Вместе с данными генома объемы информации достигают терабайтных величин.

ИИ и анализ больших данных способны существенно повысить качество и безопасность хирургического лечения опухолей мозга за счет уменьшения хирургической агрессии в отношении тканей пациента. Сегодня целая серия научных работ в НМИЦ посвящена исследованию количественных характеристик изображений, которые потенциально могли бы иметь связь с биологическими свойствами опухоли. Кроме того, модели ИИ способны помощь в прогнозировании послеоперационных нарушений речи, возникающих из-за опухоли головного мозга, на основе показателей его электрической активности. Продолжается и работа по анализу паттернов эффективных и неэффективных макро- и микродвижений хирурга во время операции.

Еще один пример использования ИИ — управление рисками в нейрохирургии, в частности, рисками микрохирургического лечения неразорвавшихся аневризм, когда приходится делать выбор между рисками хирургического вмешательства и его непроведения. Другое интересное направление — прогнозирование длительности послеоперационного периода: полученная модель позволила составлять прогнозы со средней ошибкой (с вероятностью около 80%) в три дня, и это притом, что медиана составляет 7 дней, а сам послеоперационный период может длиться до 200 дней. Среди других важных направлений внедрения моделей ИИ — мониторинг клинических событий (в первую очередь неблагоприятных), подготовка медицинских данных для анализа и пр.

«В целом уровень ошибок моделей машинного обучения может находиться примерно на том же уровне, который демонстрируют врачи», — считает Данилов.

Применение языковых ИИ-моделей в здравоохранении могло бы существенно облегчить работу с медицинскими документами — как с целью выявления значимых факторов эффективности и безопасности лечения, так и для снижения уровня трудоемкости при подготовке новых документов. Что важно, для решения этих задач совсем не обязательно применять сложные языковые модели, достаточно относительно простых специализированных систем.